Cloudflare'ın Disallow AI Training ayarı, arama dizinlemeye dokunmadan model eğitimini engelliyor

Cloudflare, web sitesi sahiplerinin sayfalarını AI model eğitim verilerinin dışında tutarken arama dizinlemeye dokunmamalarını sağlayan bir Disallow AI Training ayarı sundu. Cloudflare'ın duyurusunu özetleyen dev.to'ya göre denetim, Cloudflare'ın Bot Management ve AI Crawl Control paketinde yer alıyor ve günümüz web yayıncılığının en can sıkıcı ödünleşimlerinden birini hedefliyor: AI şirketlerinin içeriğini toplamasını durdurmak isteyen siteler, çoğu zaman yan etki olarak arama görünürlüklerinde azalma kabul etmek zorunda kalıyordu.

Çözdüğü sorun

Web taraması farklı faaliyetlere ayrıldı. Bir bot geleneksel bir arama dizini oluşturabilir, bir modeli eğitmek veya ince ayar yapmak için içerik kazıyabilir ya da sohbet tabanlı erişim araçlarında olduğu gibi bir sayfayı kullanıcı adına getirebilir. Cloudflare'ın önceki Block AI Bots seçeneği bu durumları net biçimde ayırmıyordu; bu yüzden geniş kapsamlı bir engelleme arama keşfine de yayılabiliyordu. Yeni ayar daha dar bir tercihi ifade ediyor: eğitim yok, dizinleme evet.

Nasıl çalışıyor

Ayar, Cloudflare'ın Bot Preference Sync adını verdiği mekanizmayla sitenin robots.txt dosyasına bir eğitim geri çekme (opt-out) ifadesi yazıyor. Cloudflare'ın Accountable olarak sınıflandırdığı ve yönergeye saygı gösteren tarayıcılar, bir siteyi arama için dizinlemeye devam edebilirken içeriğini model eğitiminde kullanmaktan men ediliyor.

dev.to'nun aktardığına göre sınıflandırma üç sinyale dayanıyor: arama dizinleri oluşturan taramalar için Search; model eğitimi veya ince ayar amacıyla yapılan taramalar için Training; ve bir sohbet kullanıcısı adına erişim gibi insan yönlendirmeli ya da bot destekli erişim için Agent.

Rapora göre Amazon, Anthropic, Meta ve OpenAI tarafından işletilen eğitim tarayıcılarının çoğu, bu tercih altında eğitimden engellenecek. Applebot ve Googlebot, eğitim yok sinyaline uyarken arama için dizinlemeye devam etmesi beklenen Accountable tarayıcılar olarak adlandırılıyor; Bingbot'un ise 2027 başında benzer bir desteği kazanması planlanıyor. Cloudflare, Apple, Google ve Microsoft'un bu ayara uymayı taahhüt ettiğini söylüyor.

Dağıtım ve geçiş

Cloudflare, eski Block AI Bots denetimini emekliye ayırıyor ve mevcut müşterileri ayrıntılı Search, Training ve Agent seçeneklerine taşıyor. Yeni eklenen alan adları, sitenin reklam üzerinden para kazanıp kazanmadığına bağlı olarak iki hazır yönlendirme ayarından birini alıyor. Cloudflare ayrıca Managed Robots.txt'yi aşamalı olarak kaldırıp yerine Bot Preference Sync'yi getirmeyi planlıyor.

dev.to'ya göre daha geniş yol haritası, Cloudflare Radar üzerinden URL bazında şeffalık ve metrikleri, ayrıca AI tarafından üretilen özetler için bir geri çekme seçeneğiyle başlayıp gelecek yıl genişleyecek olan yeni AI Summaries denetimlerini içeriyor.

Akılda tutulması gereken sınırlar

Sistem yalnızca tarayıcı işletmecileri getirdikleri içerikle ne yaptıklarını doğru şekilde beyan edip yayımlanan tercihe uymaları halinde işliyor. Ayrıca her AI erişim sorusunu tek bir anahtara indirgemiyor: arama görünürlüğü, eğitim kullanımı ve agent tarzı erişim ayrı kararlar olarak kalıyor ve Cloudflare'ın denetimleri bu seçimleri sizin yerinize yapmak yerine açık hale getiriyor. dev.to, ekiplerin tek bir onay kutusunu işaretleyip geçmek yerine tarayıcı politikalarını bilinçli olarak gözden geçirmesini öneriyor: hangi içeriğin aranabilir kalması gerektiği, kamuya açık sayfalarda eğitimin kabul edilebilir olup olmadığı ve agent erişiminin dizinlemeden farklı muameleyi hak edip etmediği.

Neden önemli

Yayıncılar, e-ticaret siteleri ve bilgi bankaları için arama trafiği ile AI eğitimi daha önce birbirine bağlıydı: birine itiraz etmek diğerini riske atmak anlamına geliyordu. İkisinin ayrılması içerik erişim politikasını gerçekten pazarlık edilebilir kılıyor ve robots.txt'yi eğitim tercihlerini dizinleme kurallarının bir yan ürünü değil birinci sınıf bir konu olarak ele almaya doğru itiyor. Catch, operatör işbirliğine bağımlılıkta: model, Google, Apple ve Microsoft'un katılmayı kabul etmesi sayesinde işliyor ve güvenilirliği, bu işbirliğinin yalnızca sözünde değil doğrulanabilir olup olmamasına dayanıyor. Bingbot zaman çizelgesi ve planlanan Radar metrikleri anlatıldığı gibi gelirse, site sahipleri uyumu körü körüne güvenmek yerine denetleme yolları kazanacak; bu da çerçeveyi yalnızca kullanışlı değil kalıcı kılacak.