30 büyük sitenin robots.txt incelemesinde ClaudeBot, GPTBot'tan daha fazla engelleniyor

dev.to'da yayımlanan bir inceleme, 30 tanınmış web sitesinin robots.txt dosyalarını çekmiş ve AI crawler'larını engellemenin artık büyük yayıncılar arasında varsayılan hale geldiğini — Anthropic'ın ClaudeBot'unun ise OpenAI'ın GPTBot'undan belirgin biçimde daha soğuk karşılandığını ortaya koymuş.

İnceleme ne buldu

dev.to gönderisine göre yazar, 1 Kasım 2026'da 30 önde gelen sitenin robots.txt dosyalarını kontrol etmiş. Bunlardan ikisi kullanışlı bir yanıt vermemiş: npr.org 15 saniye sonra zaman aşımına uğramış, stackoverflow.com ise otomatik istemciye HTTP 418 döndürmüş; bu yüzden sonuçlar 28 siteyi kapsıyor.

Bu 28 siteden 25'i Anthropic'ın eğitim crawler'ı ClaudeBot'u, 17'si ise OpenAI'ın muadili GPTBot'u engelliyor. Eğitime odaklanan diğer botlar bu iki kutup arasında yer alıyor: ByteDance'in Bytespider'ı 24 site tarafından, Common Crawl'ın CCBot'u ve Apple'ın Applebot-Extended'ı 23'er site tarafından, PerplexityBot 21 site tarafından, Meta'nın meta-externalagent'ı 20 site tarafından, Amazonbot 18 site tarafından ve Gemini eğitiminde kullanılan Google-Extended 16 site tarafından engelleniyor.

Arama crawler'larına daha yumuşak muamele

Veriler, eğitim verisi toplayan crawler'lar ile AI arama ürünlerinin arkasındaki crawler'lar arasında net bir ayrım gösteriyor. OpenAI'ın OAI-SearchBot'u — bir sayfanın ChatGPT aramada görünüp görünemeyeceğini belirleyen bot — 28 siteden yalnızca 8'i tarafından, bir kişinin adına sayfa çeken ChatGPT-User ise 10'u tarafından engelleniyor. Anthropic'ın muadilleri olan Claude-SearchBot ve Claude-User ise 16'şar sitede engelleniyor.

Örneklemdeki altı site tüm AI arama crawler'larına kapalı: nytimes.com, cnn.com, reddit.com, yelp.com, imdb.com ve amazon.com. Altı site ise hepsine açık: wikipedia.org, medium.com, github.com, etsy.com, tripadvisor.com ve webmd.com.

GPTBot'un izinli, ClaudeBot'un izinsiz olduğu yerler

Sekiz site iki eğitim crawler'ına farklı yanıtlar veriyor ve GPTBot'u kabul ederken ClaudeBot'u dışarıda bırakıyor: theguardian.com, washingtonpost.com, wsj.com, theatlantic.com, theverge.com, wired.com, arstechnica.com ve allrecipes.com.

İncelemanın yazarı, bu yayın kuruluşlarının çoğunun OpenAI ile herkese açık içerik lisanslama anlaşmaları duyurduğuna dikkat çekiyor; ancak anlaşmaların tek tek doğrulanmadığı uyarısını yaparak bu örtüşmenin neden-sonuç kanıtı değil bir örüntü olarak okunması gerektiğini belirtiyor.

Washington Post dosyası mekanizmayı gözler önüne seriyor. robots.txt dosyası ClaudeBot'u sitenin tamamında engelliyor ve yalnızca /creativegroup/ için bir istisna tanıyor; GPTBot'un ise kendi grubu yok ve yalnızca birkaç yazdırma ve e-posta yolunu kapatan varsayılan User-agent: * kuralı kapsamına giriyor.

llms.txt hâlâ nadir

Sitelerin kendilerini AI sistemlerine tanıtmanın makine tarafından okunabilir bir yolu olarak llms.txt üzerine süregiden tartışmalara rağmen, 28 siteden yalnızca ikisi — github.com ve etsy.com — gerçekten bir tane yayımlıyor.

Yöntem ve uyarılar

Veriler, site başına 0,003 dolara mal olan bir Apify Actor olan AI Crawler Checker ile toplandı; dev.to gönderisi aynı zamanda bu araç için bir kullanım kılavuzu niteliğinde. Araç, robots.txt dosyasını RFC 9309'a göre ayrıştırıyor — en uzun eşleşen kural öncelik kazanıyor, eşitlik durumunda Allow, Disallow'a galip geliyor ve * ile $ joker karakterleri destekleniyor — ve 16 crawler için izinli ya da engelli sonucu döndürüyor. Yazar, politika değişikliklerini yakalamak için haftalık çalıştırmalar planlamayı ve engellenen bot listelerini karşılaştırmayı öneriyor.

Akılda tutulması gereken iki uyarı var. Birincisi, robots.txt zorlama mekanizması değil tavsiye niteliğinde bir uzlaşmadır: OpenAI, Anthropic, Google, Apple ve Perplexity gibi büyük sağlayıcılar crawler'larının buna saygı duyduğunu söylüyor; ancak inceleme her sitenin taleb ettiğini, hiçbir crawler'ın gerçekte ne yaptığını değil, ortaya koyuyor. İkincisi, bu 28 büyük sitenin tek günlük bir anlık görüntüsü, web'in temsili bir örneği değil.

Neden önemli

Bulgular, robots.txt dosyasının yayıncılar ile AI şirketleri arasında sessizce bir müzakere alanına dönüştüğüne işaret ediyor. Büyük siteler her şeyi ya da hiçbir şeyi engellemek yerine, ticari ilişkileriyle uyumlu, crawler crawler kararlar veriyor — bunu en görünür biçimde GPTBot'u kabul ederken ClaudeBot'u dışarıda bırakan sekiz sitede görüyoruz.

Yayın yapan herkes için pratik ders incelikte. User-agent: * altındaki genel bir Disallow: /, kendi grubu olmayan tüm AI crawler'larını da dışarıda bırakıyor; reddit.com'un hepsini engellemesinin nedeni de bu. ChatGPT, Perplexity ya da Claude yanıtlarında atıf almak isteyen siteler, eğitim crawler'larını yine de dışlarken arama ve kullanıcı crawler'larına açık kalabilir — theguardian.com'un OpenAI için benimsediği yaklaşım. Ve llms.txt hâlâ neredeyse yokken, robots.txt çoğu yayıncının elindeki başlıca kaldıraç olmaya devam ediyor.