Cloudflare ve OpenAI pilotu ChatGPT araması için yüz milyonlarca sayfayı görünür kılıyor

Cloudflare ve OpenAI, AI keşif pilotundan ilk sonuçları paylaştı

Cloudflare ve OpenAI, Cloudflare ağından gelen sinyallerin ChatGPT kullanıcılarının faydalı içeriği daha verimli bulmasına yardımcı olup olamayacağını test etmek için Temmuz ayında bir araştırma pilotu başlattı. 15 Ekim'de yayımlanan bir blog yazısında Cloudflare, denemenin OpenAI'nin arama crawler'ının daha önce dizininde bulunmayan yüz milyonlarca sayfayı keşfetmesine ve dizine eklemesine olanak tanıdığını, böylece ChatGPT Search'ün yararlanabileceği, atıfta bulunup geri bağlantı verebileceği kaynak havuzunun genişlediğini bildiriyor.

Pilot, Cloudflare'in toplam ağının yaklaşık %1'ini temsil eden katılımcı bir grup üzerinde yürütüldü. Cloudflare bu düzeni bir geri bildirim döngüsü olarak tanımlıyor: ağı, crawler'ı ziyaret edilmeye değer sayfalara yönlendiren sinyalleri ortaya çıkarıyor, OpenAI ise bu sayfaları ilgi ve yararlılık açısından bağımsız olarak değerlendirip sıralıyor. Yazıda ayrıca bu çabanın OpenAI'nin GPT-6 ve Intelligent UI çalışmalarını tamamlamayı hedeflediği belirtiliyor; bu çalışmalar ChatGPT'yi daha görsel ve etkileşimli deneyimlerle alışveriş yapmak, öğrenmek ve yanıt bulmak için daha iyi bir yer haline getirmeyi amaçlıyor.

Keşif, AI etrafında yeniden tanımlanıyor

Cloudflare sorunu günlük örneklerle açıklıyor: çamaşır makinesi tamir eden biri tam olarak doğru modelin kılavuzuna ihtiyaç duyar, pasaport başvurusu yapacak kişi güncel gerekliliklere ve ücretlere ihtiyaç duyar, bir restorana gidecek kişi ise işletmenin en son menüsüne ve çalışma saatlerine ihtiyaç duyar. Bu sayfalar, başka pek az sitenin kendilerine bağlantı verdiği durumlarda bile önemli olabilir ve tam da burada bağlantı odaklı keşif yetersiz kalıyor. Web'in eski modelinde görünürlük, bir sonuç sayfasının tepesine çıkmak anlamına geliyordu ve değeri oradan itibaren insan ziyaretçi değerlendiriyordu. Daha fazla insan bu yolculuğu AI'ya devrettikçe, artık doğru kaynağı bulmak, yararlılığını değerlendirmek ve kişiyi bir yanıt, atıf veya site ziyareti yoluyla o kaynağa bağlamak sistemin kendisine düşüyor.

Crawler'ın boşa harcanan emeğini azaltan sinyaller

Bir URL tek başına pek fazla şey söylemez; bu yüzden pilot, bir adresin insanların gerçekten erişebileceği bir sayfaya gidip gitmediğini, o sayfanın özgün bir şey sunup sunmadığını ve birine ne yapmasına yardımcı olabileceğini inceledi. Cloudflare, otomatik trafiğin var olmayan sayfaları ne kadar kolay ilginç gösterebildiğini öğrendiklerini söylüyor: botlar var olmayan dosyaları tekrar tekrar istiyor, bazı siteler neredeyse her adresi ana sayfalarına yönlendiriyor ve bazı URL'ler birbirinin aynı içeriklerin kopyalarına çözümleniyor. Bu örüntüleri tanımak, crawler'ın hiçbir şey çekmeden önce onları atlamasını sağlıyor ve iki tarafın da kaynaklarını koruyor.

Şirketler ayrıca potansiyel olarak zararlı sayfaları işaretleyen sinyalleri test ediyor. Meşru bir site, bir saldırganın yerleştirdiği sahte bir giriş formu gibi tek bir ele geçirilmiş sayfa taşıyabilir ve Cloudflare, tüm alan adı yerine o tek sayfayı işaretlemenin insanları güvende tutarken site sahibini de cezalandırmadığını savunuyor. İlk sonuçlar, bu sinyallerin dizinde bulunmaması gereken sayfaları belirleyebildiğini gösteriyor. Ayrıca değişiklik sinyalleri, bir sayfanın yeniden ziyaret edilip edilmediğinin gerekli olduğunu ve gerekli olmadığını göstererek değişmeyen içeriğin tekrar tekrar indirilmesinin maliyetini ele alıyor.

Cloudflare bir dengesizliği kabul ediyor: yeni sayfaları keşfetmek, bu sayfalar değerlendirilip dizine eklenirken başlangıçta taramayı artırabilir. Açıklanan hedef, güncel kalırken toplam emeği küçültmek; yani Cloudflare müşterileri için kaçınılabilir yükün azalması ve OpenAI'nin arama kaynaklarının gerçekten insanlara yardım eden bilgilere harcanması anlamına geliyor.

İzin ve eğitim sınırları

Cloudflare vurguyor: alan adı sahiplerinin tercihleri her aşamada geçerli kalıyor ve bir sayfaya dair sinyal, o sayfaya erişim izni vermiyor. Araştırma, model eğitimi için sayfa içeriğini paylaşmak yerine, arama ve keşif amacıyla web'e dair metadata'dan yararlanıyor ve site sahipleri, AI sistemlerinin sitelerine nasıl eriştiğini anlamak ve yönetmek için Cloudflare'in AI Crawl Control aracını kullanabiliyor. Sonraki aşama, sayfa seçimini iyileştirecek, daha hızlı ve güvenilir değişiklik sinyallerini test edecek ve içeriğin keşfedilmesinden sonra ne olduğuna, iyi keşfin şirketlerin paylaşmaya devam etmeyi planladığı somut iş sonuçlarına dönüşüp dönüşmediği dahil, bakacak.

Neden önemli

Yayıncılar ve SEO alanında çalışan herkes için bu, keşfedilebilirliğin klasik arama sıralamaları yerine AI sistemleri etrafında yeniden inşa edildiğinin şimdiye kadarki en net örneklerinden biri. Kılavuzlardan yerel işletme ayrıntılarına, bizzat yaşanmış ürün deneyimlerine kadar hiç geri bağlantı biriktirememiş sayfalar, AI crawler'ları onları bulabildiğinde artık ChatGPT kullanıcılarına ulaşabiliyor ve ChatGPT Search özgün kaynaklara geri bağlantı veriyor. Verimlilik kazanımları da önemli: daha akıllı filtreleme, anlamsız bot ziyaretlerinin ve site sahipleri için sunucu yükünün azalması demek. En az bunun kadar önemlisi, yalnızca metadata kullanımını, paylaşılan içerik üzerinde eğitim yapılmamasını ve erişimin hâlâ alan adı sahibi tarafından yönetilmesini kapsayan açıklanan güvenceler, yayıncıların katılmaya davet edildiği koşulları çiziyor. Bir sonraki aşamanın yanıtlanması için tasarlandığı açık soru ise AI odaklı keşfin gerçekten trafiğe ve gelire dönüşüp dönüşmeyeceği.