Cloudflare'ın Eylül varsayılanı Googlebot'u edge'de engelliyor, robots.txt ise sessiz kalıyor

Ne değişti

RankCLI'nin dev.to'daki bir gönderisine göre, 15 Eylül 2026'da Cloudflare, AI trafiği için "engellendi" kavramını değiştirdi. Yeni domainler, mevcut hesaplara eklenen yeni siteler ve bu ayara hiç dokunmamış ücretsiz plan hesapları artık AI Training crawler'ları yasak, AI Agents ise reklam içeren sayfalarda engelli biçimde başlıyor. Arama crawler'lığının açık kalması gerekiyordu.

Birçok sitede öyle olmadı. Bunun nedeni, Cloudflare'ın birden fazla iş yapan crawler'ları nasıl sınıflandırmasında yatıyor.

Karma kullanımlı crawler'lar en katı kurala tabi oluyor

Googlebot, hem Google Arama için web'i tarar hem de AI eğitimini besleyen veriler toplar. Gönderi, Cloudflare'ın onu karma kullanımlı bir crawler olarak sınıflandırdığını ve karma kullanımlı bir crawler'ın, kendisine uygulanan kurallardan en kısıtlayıcı olanı altında ele alındığını açıklıyor.

Yani AI eğitimi engellendiğinde — eski "Block AI Bots" anahtarı üzerinden bile — engel, reklam destekli sayfalarda Googlebot'un tüm işlevlerini kapsıyor. Googlebot, normal sayfalarda ve sitemap çekimlerinde 403 yanıtları almaya başlıyor. Gönderi, Bingbot ve Applebot için de aynı durumun geçerli olduğunu bildiriyor.

Sitenin robots.txt'si hâlâ Allow diyor. Depoda hiçbir şey değişmedi. Google Search Console fetch hataları bildirmeye başlıyor ve nedeni tespit etmek zor, çünkü herkes önce robots.txt'ye bakıyor.

Gönderide alıntılanan Cloudflare'ın kendi ağ verileri, Googlebot'un crawler payını 2026 ikinci çeyrekte %27,49 olarak gösteriyor; bir yıl önce bu oran %57,20 idi. Bu düşüş Eylül değişikliğinden önce başladı ama arama crawler hacminin ne kadar gerilediğine dair bir çerçeve sunuyor.

robots.txt bunu neden göremiyor

Gönderi, içselleştirilmesi değerli bir ayrım yapıyor: robots.txt bir rica, CDN bot kuralı ise bir zorlamadır. robots.txt origin tarafından sunulur ve ona uymayı seçen crawler tarafından okunur. Edge'deki bir bot kuralı ise bağlantıyı, origin'e hiç danışılmadan önce reddeder.

Bu, bir crawler'ın robots.txt'de açıkça izinli olup yine de 403 alabileceği anlamına geliyor. Yazar, bildiği her "AI görünürlüğü" denetleyicisinin — yakın zamana kadar kendisininkiler dahil — robots.txt'de duraklayıp bu tür siteleri açık olarak raporladığını belirtiyor.

Nasıl kontrol edilir

Aynı URL'ye, biri tarayıcı user agent'ıyla diğeri Googlebot user agent'ıyla yapılan iki curl isteği bu ayrımı ortaya çıkarır. Tarayıcıya 200, Googlebot'a 403 dönmesi robots.txt yerine bir edge kuralına işaret eder. Sitemap'i de aynı şekilde test etmek değerlidir; gönderiye göre hata çoğu zaman ilk olarak orada görülüyor.

Yazarın belirttiği bir uyarı: Gerçek crawler'lar user agent'ın yanı sıra IP ile de doğrulanır; bu yüzden sahte bir agent dizesi kesin değil, yalnızca işaret edici bir bulgudur. Doğrulanmış Googlebot olarak fetch yapan Search Console'un URL İnceleme aracı kesin yanıtı verir. Gönderi ayrıca, arama ve AI crawler'larını bir tarayıcı temel çizgisine karşı test eden ve engellenen arama crawler'ları için ayrı bir hata, engellenen AI crawler'ları için ayrı bir uyarı bildiren bir CLI aracını da anlatıyor. Bu ayrım, indeksi kaybetmenin AI atıflarını kaybetmekten daha acil olduğunu yansıtıyor.

Çözüm

Ayar depoda değil, CDN'de duruyor. Cloudflare'da gönderi, bir zone'un Security ve Bots ayarlarına ve herhangi bir "Block AI Bots" ya da AI Crawler Control anahtarına işaret ediyor. Googlebot karma kullanımlı olduğu için site sahiplerinin arama crawler'larını açıkça izin vermesi ya da reklam destekli sayfalarda varsayılandan feragat etmesi gerekiyor.

Gönderiye göre, mevcut ücretli müşteriler önceden bilgilendirildi ve zone güvenlik ayarlarından feragat edebiliyor. Yeni domainler ve ücretsiz plan hesapları ise varsayılanı istemeden aldılar; değişikliğin bu yüzden hiçbir ayar değiştirmemiş insanları şaşırtmaya devam etmesi de bundan.

Neden önemli

Bot kontrolü fiilen bir katman yukarı taşındı: origin'de okunan gönüllü bir teamülden, istek ulaşmadan önce edge'de uygulanan kurallara. robots.txt'de duran her denetim — çoğu otomatik görünürlük denetleyicisi dahil — bu siteleri arama motorları 403 alırken açık olarak raporlayacak. Arama ve AI crawler'ları arasındaki ayrım gerçek bir ticari ağırlık da taşıyor: Googlebot'u kaybeden bir site indeksini kaybeder, GPTBot veya ClaudeBot'u kaybeden ise AI yanıtlarındaki atıfları. Site sahibinin eylemi olmadan uygulanan varsayılanlar artık bir sitenin hangisine sahip olacağına karar veriyor ve sitenin kendi kodunda ya da yapılandırmasındaki hiçbir şey bunun nedenini açıklamayacak.