OpenAI, Google, Microsoft ve Anthropic, AI kazımasından çıkmak için ortak robots.txt sinyalini destekliyor

The Verge'nin aktardığına göre (kaynağı daha önce haberleştiren Search Engine Roundtable'a atıfla) OpenAI, Google, Microsoft ve Anthropic, yayıncıların tek bir sinyalle AI kazımasından çıkabilmesini sağlayan ortak bir standarda commit etti. Web sitesi sahipleri tercihlerini her AI sağlayıcısına tek tek bildirmek yerine bir kez beyan edebilecek ve dört şirket de bu ayarı kabul edecek.

robots.txt içinde bir policy token

"Policy token" adı verilen bu mekanizma, Anthropic'de standartlar teknik lideri olan Kevin Kelley tarafından önerildi ve Internet Engineering Task Force üzerinden ilerletiliyor. Token, web sitelerinin tarayıcılara neye erişip neye erişemeyeceklerini — ister arama dizinleme, ister arşivleme, ister AI eğitimi için olsun — bildirmekte kullandıkları köklü robots.txt dosyasının içinde yer alıyor.

Şu anda her AI şirketi bu sinyalleri kendi yöntemiyle yorumladığından, yayıncılar tercihlerini satıcı satıcı yapılandırmak zorunda kalıyordu. Önde oyuncuların tamamının tanıdığı bir token, bu darmadağın yapıyı tek bir talimata indiriyor. Dört firma da tarayıcıları bu token ile karşılaştığında söz konusu siteye erişimi durduracaklarını söylüyor.

Kademeli uygulamalar ve Microsoft'un ek ayrıntı düzeyi

Benimseme eş zamanlı gerçekleşmiyor. The Verge'ye göre Anthropic sinyali zaten uygulamaya koydu, OpenAI önümüzdeki aylarda bunu yapmayı bekliyor, Google ve Microsoft ise gelecek yıl destek eklemeyi planlıyor.

Microsoft akranlarından daha ince ayarlı kontroller sunuyor. Yayıncılar, AI eğitiminden ve AI grounding'den — halüsinasyonları azaltmak için bir modeli doğrulanmış bir bilgi kaynağına yönlendirme uygulaması — ayrı ayrı seçenek olarak kendilerini muaf tutabilecek. Şirket ayrıca bir sitenin tercihlerinin Bing arama sonuçlarındaki varlığını etkilemeyeceğini, yani normal arama dizinlemenin AI'ya özel kullanımlardan ayrı tutulacağını belirtiyor.

AI tarayıcıları üzerindeki baskı artıyordu

Bu adım, yayıncıların içeriklerini modellere besleyen durmaksızın akan AI tarayıcılarıyla boğuştuğu bir dönemde geldi. The Verge'ye göre diğer yanıtlar arasında, yayıncıların sitelerini ziyaret eden tarayıcılara ücret tahakkuk ettirmesine olanak tanıyan Really Simple Licensing (RSL) standardı ve Cloudflare'in AI tarayıcılarını varsayılan olarak engelleme kararı yer alıyor. Sektör genelinde kabul gören tek bir opt-out, bu tür kaba önlemlere olan ihtiyacı azaltabilir.

Neden önemli

robots.txt hiçbir zaman bağlayıcı olmadı; yalnızca tarayıcılar gönüllü olarak uyduğu için işliyor. En önemli dört AI sağlayıcısını IETF tarafından izlenen tek bir sinyalin arkasına almak, parçalı ve iyi niyete dayalı bu sistemi yayıncıların gerçekten güvenebileceği bir şeye dönüştürüyor — en azından bu şirketler için.

Uyarılar da gerçek. Google ve Microsoft desteği sunana kadar koruma düzensiz olacak ve bu grubun dışındaki tarayıcılar token'ı tamamen görmezden gelmeye devam edebilir. Düzenleme ayrıca opt-in değil opt-out olarak kalıyor: yayıncılar içeriklerini korumak için harekete geçmek zorunda ve hiçbir şey yapmayanlar av olarak kalmaya devam ediyor. Microsoft'un eğitimi grounding'den ayırma ve Bing sonuçlarını tüm bunlardan yalıtma kararı ise bir sonraki tartışmaya işaret ediyor: arama, grounding ve eğitim bir yayıncının emeğinin gerçekten farklı kullanımları mı, ve bu çizgiyi kimin çizeceği.