Bir blogun 30 günlük AI crawler kaydı: 4.040 istek, yarısı eğitim amaçlı, sıfır ChatGPT atfı

Bir aylık crawler trafiği, sayımlı

Bir geliştirici, Cloudflare'in ücretsiz katmanlı AI Crawl Control paneline dayanarak, sekiz yazı içeren kişisel bir bloga gelen AI crawler trafiğinin 30 günlük denetimini yayımladı. dev.to'daki yazıya göre, 20 Ekim 2026'da sona eren dönemde Cloudflare'in tanıdığı crawler'lar siteye yaklaşık 4.040 istek yaptı. Bu isteklerin yaklaşık 3.540'ı başarılı oldu.

On şirket, önde Google

Google 961 onaylanmış istekle en fazla trafiği gönderdi; onu 680 ile Anthropic, 508 ile OpenAI, 377 ile Apple ve 309 ile Microsoft izledi. İlk onu Huawei'nin PetalBot'u (238), Meta (212), Common Crawl (138), Amazon (128) ve Internet Archive (111) tamamladı. Cloudflare her şirketin botlarını birlikte gruplandırdığından OpenAI'nin rakamı GPTBot ve kardeşlerini kapsıyor.

Yazarın açıklamasına göre Googlebot'un bir AI kategorisinde görünmesinin nedeni, Google'ın AI yanıtlarının oluşturduğu arama dizinini kullanması. Perplexity ise yazarın testlerinde siteye atıfta bulunan tek motor olmasına rağmen ilk ona giremedi.

13 Ekim'de alınan daha önceki bir anlık görüntü, önceki 30 günde yaklaşık 3.000 istek gösteriyordu. Yazar, iki dönemin 23 gün örtüştüğünü, dolayısıyla bunun temiz bir aylık karşılaştırma olmadığını, ama yönün açıkça yukarı olduğunu belirtiyor.

Eğitim baskın, asistan istekleri zar zor kayda geçiyor

Cloudflare crawler'ları amaçlarına göre sınıflandırıyor. Bu sitede yaklaşık 1.720 başarılı istek — kabaca yarısı — model eğitmek için sayfa toplayan botlardı. Diğer 1.190 istek, yaklaşık üçte biri, arama dizini oluşturuyordu ve 482'si bir AI arama dizini oluşturuyordu. Arşivciler 110 istekten sorumluydu. En küçük ve yazar için en anlamlı kategori sonuncusuydu: 26 istek, yüzde birin altında, bir kişi gerçekten bir şey sorduğu için bir sayfayı çeken AI asistanına aitti.

En çok okunan dosya sitemap

Crawler'lar içeriği okumaktan çok neyin var olduğunu keşfetmeye çaba harcadı. Dört sitemap dosyası toplam 687 istek alırken, en çok çekilen tek yazı 66 istek aldı. Toplamda 271 farklı yol istendi ve yaklaşık 74 MB aktarım yapıldı; Googlebot 18,63 MB, GPTBot ise 11,24 MB ile öne çıktı.

Biraz daha önceki 30 günlük dönemde crawler'lar sitenin llms.txt dosyasını sıfır kez, robots.txt dosyasını ise 605 kez çekti. Yazarın sonucu: Doğru ve güncel bir sitemap, AI sistemleri için özel olarak oluşturulan herhangi bir dosyadan çok daha önemli.

Crawler adı taşıyan tarayıcılar

AI crawler olarak sayılan her şey bir AI şirketinden gelmedi. En çok istenen var olmayan on yoldan sekizi, kimlik bilgisi veya yapılandırma barındıran dosyalardı — aralarında .env.local, terraform.tfvars ve .git/config var — ve her istek 404 döndürdü. Yazarın yorumuna göre bunlar, bir crawler'ın user-agent dizgisini taklit eden güvenlik tarayıcılarıydı ve Cloudflare'in ücretsiz planı crawler'ları beyan ettikleri isimle tanıdığı için AI trafiği olarak kaydedildiler.

Taranmak atıf almak değildir

En keskin bulgu, tarama ile atıf arasındaki uçurum. OpenAI'nin crawler'ları ay boyunca 508 istek yaptı; oysa yazar 17 Ekim'de ChatGPT'ye sitenin yanıtlayabileceği on iki soru sorduğunda, hiçbirinde siteye atıfta bulunulmadı. Bing Webmaster Tools'un AI Performance raporu, 309 BingBot isteğine rağmen üç ay boyunca sıfır atıf gösterdi. Google Search Console, 28 günde Google'ın AI özelliklerinde 14 gösterim kaydetti. Kayıtlarda zar zor görünen Perplexity ise sekiz yanıttan dördünde siteye atıfta bulundu. Yazarın vardığı sonuç: Tarama hacmi atfı öngörmez.

Bir ölçüm kör noktası daha var: Cloudflare'in yönlendirme trafiği sütunu her yolda tire gösteriyor; bu da ücretsiz planda rakamın sıfır olduğu değil, hiç sayılmadığı anlamına geliyor.

Aynı kontrolü nasıl yaparsınız

Zaten Cloudflare üzerinde olan siteler — ücretsiz plan dahil — panelden AI Crawl Control'ü açabilir. Overview şirket bazında toplamları gösterir, Crawlers her botu amacı ve izin/engel durumuyla listeler, Metrics ise en çok taranan yollar dahil en fazla 30 günlük aralıklı grafikler sunar. robots.txt istekleri ayrı Signals sayfasında görünür. Cloudflare üzerinde olmayan siteler bunun yerine ham erişim kayıtlarında crawler isimlerini sayabilir.

Neden önemli

AI botları ve yayıncılar hakkındaki tartışmalar genellikle anekdota dayanır. Küçük olsa da bu veri seti, sıradan bir site için tabloyu sayısallaştırıyor: AI crawler trafiğinin çoğu eğitim ve dizinleme için spekülatif toplu toplamadır, gerçek insanlar tarafından tetiklenen istekler son derece nadirdir ve yüzlerce tarama yine de sıfır atıf üretebilirken düşük hacimli bir motor rahatça atıfta bulunabilir. Ayrıca AI crawler istatistiklerinin düpedüz güvenlik tarayıcılarını gizleyebildiğini gösteriyor; dolayısıyla ham kayıt sayıları gerçek AI ilgisini abartıyor. Cloudflare'in ücretsiz paneliyle her site sahibi dakikalar içinde karşılaştırılabilir sayılar üretebilir ve engelleme kararlarını tahmine değil kanıta dayandırabilir.