deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

robots.txt AI tarayıcılarını engelleyemez; gerçek engeli edge ve sunucu kuralları sağlar

RFC 9309, robots.txt dosyasını erişim kontrolü değil, gönüllü bir rehber olarak tanımlıyor. Bir dev.to yazısı hangi AI botlarının bu dosyaya uyduğunu ve gerçek bir engellemenin nasıl uygulanacağını anlatıyor.

robots.txt AI tarayıcılarını engelleyemez; gerçek engeli edge ve sunucu kuralları sağlar

dev.to'daki bir yazı, site sahiplerine rahatsız edici bir hatırlatmayla başlıyor: robots.txt kimseyi engellemez. IETF tarafından 2022'de RFC 9309 olarak resmileştirilen bu dosya, tarayıcılardan uyması istenen ama zorunlu tutulmayan bildirilmiş tercihler bütünüdür. Spesifikasyonun kendisi de bunu açıkça söylüyor: kuralları "bir erişim yetkilendirme biçimi değildir."

Bir uzlaşma, bir kontrol değil

RFC 9309 kapsamında işbirlikçi bir tarayıcı robots.txt dosyasını ayrıca indirir ve uyup uymayacağına kendisi karar verir. Protokolde tarayıcı ile sunucunuz arasına giren bir şey yoktur; uyum tamamen işletenin tercihidir. Yazıda atıf yapılan Cloudflare dokümantasyonu da aynı noktaya değiniyor: yönergeler gönüllüdür ve bir tarayıcı bunları yok sayabilir. İyi davranan botlar, işletenleri bunu tercih ettiği için uyar; ana hedef kitle büyük arama motorlarıyken bu yeterince işe yarıyordu. AI tarayıcıları bu denklemi değiştirdi.

AI laboratuvarları taramayı amaca göre ayırıyor

OpenAI'nin tarayıcı dokümantasyonuna dayanan yazıya göre OpenAI üç ayrı user agent çalıştırıyor. GPTBot model eğitimine girebilecek içerik topluyor. OAI-SearchBot bir sitenin ChatGPT arama sonuçlarında çıkıp çıkmayacağını belirliyor; OpenAI, çiftlikten çıkan (opted-out) bir sitenin bu yanıtlardan kaybolduğunu ama gezinme bağlantısı olarak yine görünebildiğini belirtiyor. ChatGPT-User ise bir kişi ChatGPT'ye bir şey sorduğunda sayfaları getiriyor; bu istekler kullanıcı tarafından başlatıldığı için OpenAI, robots.txt kurallarının uygulanmayabileceğini not ediyor. Üç ayar birbirinden bağımsız ve arama davranışı bir robots.txt değişikliğini yaklaşık bir günde yansıtıyor.

Anthropic de aynı yapıyı kullanıyor: eğitim verisi için ClaudeBot, arama kalitesi için Claude-SearchBot ve soru kaynaklı getirmeler için Claude-User. Anthropic, botlarının robots.txt dosyasına uyduğunu, standart dışı Crawl-delay yönergesini desteklediğini ve kuralların kapsanması istenen her subdomain üzerinde ayrıca tanımlanması gerektiğini söylüyor. 30 Ekim 2026 itibarıyla Anthropic, IETF taslak çalışmasından türetilen makine tarafından okunabilen bir "AI eğitimi yok" sinyalini de tanımaya başladı; bu kademeli olarak yayılıyor, ancak ClaudeBot'u doğrudan adlandıran bir robots.txt kuralı öncelik taşıyor.

Yazarın vardığı sonuç şöyle: "tüm AI'yı engelle" ile "tüm AI'ya izin ver" sahte bir ikilem. Bir site eğitim botlarını yasaklarken arama botlarına dokunmayabilir; böylece sayfaları chatbot yanıtlarında kaynak olarak gösterilmeye devam eder — birçok site sahibinin gözden kaçırdığı bir ayrım.

Yaptırım isteğin yolunda olmalı

Bir reddin gerçekten bağlayıcı olması gerektiğinde, yazıya göre engel isteğin düştüğü yere konmalı: bir CDN veya WAF kuralı, origin sunucusunun yapılandırması ya da uygulama girişi. Cloudflare'ın AI Crawler ve Agent erişim politikaları bunun en net ticari örneği; yöneticilerin davranış başına (Search, Agent, Training) bir eylem belirlemesine olanak tanıyor ve Block eylemi eşleşen trafiği edge'de durduruyor. Bilinmeye değer iki nüans var: Training davranışı ayrıca yalnızca robots.txt yönergeleri yazan bir Disallow eylemi sunuyor — bunlar isteğe bağlı edge engelleme ayarı etkinleştirilmedikçe gönüllü kalıyor — ve yeni domainlerde üç davranışın hepsi varsayılan olarak Allow, yani hiçbir şey yapmamak da başlı başına bir politika.

Cloudflare kullanmayan siteler, sunucu yapılandırmasında user agent'e göre istekleri reddedebilir ya da laboratuvarların yayımladığı IP aralıklarını engelleyebilir; OpenAI bot başına bir JSON listesi tutuyor. Anthropic'in dokümantasyonu bir uyarı ekliyor: sert IP engelleri tarayıcının robots.txt dosyasını bile okumasını engelleyebiliyor, bu yüzden tek başına bir opt-out olarak güvenilmezler. Yazarın önerisi, robots.txt dosyasını bildirilmiş tercih olarak tutmak ve istek yolu kurallarını onun yerini alan değil, arkasındaki yaptırım katmanı olarak görmek.

llms.txt ters hedefi kapsıyor

Dışlama kararın yalnızca yarısı. İlk kez 2024'te yayımlanan ve 2026'da v2'ye güncellenen llms.txt önerisi, agent'lara özlü, seçilmiş bilgi ve önemli sayfaların markdown sürümlerine bağlantılar sunan bir markdown dosyasını tanımlıyor. Hâlâ bir standart değil ama yazıya göre binlerce site artık böyle bir dosya yayımlıyor; OpenAI, Anthropic ve Gemini de kendi dosyalarını bulunduruyor.

Neden önemli

Eğitim veri kümeleri, AI arama yanıtları ve kullanıcı tetiklemeli getirmeler artık ayrı kurallara sahip ayrı botlar tarafından yönetiliyor; dolayısıyla genel bir Disallow, aynı zamanda siteyi chatbot yanıtlarından da silecek keskin bir araç. Ve RFC 9309 robots.txt dosyasını tasarımı gereği tavsiye niteliğinde tuttuğundan, "hayır"ının gerçekten bağlayıcı olması gereken her sahip, dosyayı kendi kontrolündeki bir yaptırımla — bir edge kuralı, bir sunucu kuralı veya bir giriş duvarıyla — eşleştirmek zorunda. Yazı kararı üç soruya indirgiyor: içeriğiniz eğitim verisine girmeli mi, AI arama yanıtlarında görünmeli mi ve kullanıcı isteği üzerine getirilebilir kalmalı mı? Bunları yanıtlayın, bot başına bir robots.txt grubu yazın; hiçbiri de kalıcı değil, çünkü dosya yarın değiştirilebilir.

  • #robots-txt
  • #ai-crawlers
  • #web-standards
  • #cloudflare
  • #llms-txt