Yandex bot trafiği bir gecede yüzde 99 düştü: Sunucunuzu zorlayan AI crawler'ları denetlemenin tam zamanı

Yandex bot trafiği bir gecede yok oldu

dev.to'da yayımlanan bir yazıya göre, geçen hafta sonu Yandex'in beş veri merkezinden ikisi Ukrayna dron saldırılarına hedef oldu; yazar bu haberleri Reuters ve BBC'ye dayandırıyor. Crawler trafiği üzerindeki etki anında görüldü: Cloudflare'nin trafik verileri, Yandex ağından gelen bot etkinliğinin bir gün içinde son maksimumunun yüzde 0,4'üne düştüğünü gösterdi. Haftalarca siteleri hırpalamış olan bir bot filosu fiilen ortadan kayboldu ve çöküşün öncesi-sonrası grafikleri 600 puandan fazla alarak Hacker News'in zirvesine ulaştı.

Yazara göre asıl mesele saldırının kendisi değil. Grafiklerin ortaya koyduğu şey, tek bir bot ağının sunucunuza ulaşan isteklerin büyük bir bölümünü oluşturabilmesi — ve işletmecilerin çoğunun bunlara hiç bakmamasıdır.

AI crawler trafiği hızla artıyor

Bağlam için yazı, bir katrilyondan fazla etkileşimi inceleyen HUMAN Security'nin 2026 karşılaştırma raporuna atıf yapıyor. Rapora göre 2025'te AI kaynaklı trafik neredeyse üçe katlanmış, AI agent trafiği ise yüzde 7.851 artmış. Bu büyüme CDN panellerinde düzgün biçimde görünmüyor; CPU'nun bedelini birinin ödediği origin sunucularına düşüyor.

Engellemeden önce ölçün

Rehberin ilk yarısı, erişim loglarından başka hiçbir şey kullanmayan on dakikalık bir denetim. Nginx ve Caddy'nin birleşik log formatı User-Agent bilgisini sabit bir alanda tuttuğu için, kısa bir awk hattı — çıkar, sırala, say — en yoğun istemcilerinizi istek sayısına göre sıralıyor. Yazar, sessiz bir kişisel sitede sonuçların çoğu zaman rahatsız edici olduğunu söylüyor: kendi izlemenizin ve birkaç arama motorunun yanında Bytespider, meta-externalagent, Amazonbot, PerplexityBot ve anthropic-ai girişlerinden oluşan bir duvar duruyor.

AI crawler'lar ile arama motorları arasındaki çizgi önemlidir, çünkü Googlebot'u engellemekin gerçek bir maliyeti vardır. Yazı, AI crawler user-agent dizelerini izleyen topluluk tarafından yürütülen ai.robots.txt projesine işaret ediyor; loglarda bu isimleri grep'leyin ve toplam istek sayısına bölün. Yüzde 5'in altındaysa bir robots.txt güncellemesi muhtemelen yeterlidir. Yüzde 30 civarındaysa okumaya devam edin.

En az bunun kadar önemli olanı crawler'ların ne istediğidir. AI crawler'lar pahalı endpoint'leri tercih ediyor: kod forjlarındaki diff ve blame görünümleri, dokümantasyon sitelerindeki her sayfanın her revizyonu. Anubis'in geliştiricisi Xe Iaso, aracı bir Amazon crawler robots.txt kurallarını aşarak kendi barındırdığı bir Gitea örneğini bu şekilde parçaladıktan sonra yazdı — her bağlantıyı izleyen bir crawler, istemeden bir hizmet dışı bırakma (denial of service) saldırısına dönüşebilir.

Bir tırmanma merdiveni

Rehber seçenekleri en ucuzdan en ağır doğru sıralıyor:

1. robots.txt ücretsizdir ve büyük AI crawler'ların çoğu tarafından kabul edilir — Google-Extended, GPTBot, ClaudeBot ve PerplexityBot hepsi opt-out token'larına saygı duyar — ama bu bir taleptir, bir kontrol değil; tarayıcı user agent'i taklit eden crawler'lar bunu yok sayar.
2. Nginx'in limit_req'si ya da Caddy'nin rate limit modülüyle yapılacak rate limiting, IP başına hasarı sınırlar. Tek kaynaklı sel bombardımanlarına karşı işe yarar; IP aralıkları arasında dönüşüm yapan dağıtık crawler'lara karşı ise az işe yarar — ki büyük AI crawler'ların gerçekte izlediği desen de budur.
3. Bir web uygulama firewall'u ya da Cloudflare. Zaten Cloudflare arkasındaysanız bot fight mode sorunun büyük bölümünü kapsar. Anubis ise her şeyi başka birinin edge'inden geçiremeyeceğiniz ya da geçirmek istemediğiniz durumlar için vardır: kendi barındırdığınız altyapı, standart hosting, panel ve sözleşme istemeyen işletmeciler.
4. Anubis'in kendisi; proje kendi tanımıyla nükleer seçenek ve çoğu sitenin ihtiyaç duymadığı bir çözüm.

Anubis nasıl çalışır

Anubis, her isteği ALLOW, DENY, CHALLENGE ya da WEIGH olarak sınıflandıran bir YAML politika dosyasıyla yönetilen, reverse proxy olarak çalışan tek bir Go binary'sidir. Bugün GNOME'un GitLab'ının, kernel.org'un, Arch wiki'nin, Codeberg'in ve FFmpeg altyapısının önünde duruyor.

User agent'i "Mozilla" dizisini içeren istekler, tarayıcının yeterli sayıda sıfırla başlayan bir hash bulana kadar SHA-256 hash'leri hesaplamasını gerektiren bir ara sayfayla karşılanır. Varsayılan 4 zorluk düzeyinde bu, kabaca 65.000 beklenen hash demek — masaüstünde bir-iki saniye, telefonda on beş saniyeye kadar ve JavaScript motoru olmayan bir HTTP istemcisi için imkânsız. Varsayılan politika ayrıca ai.robots.txt denylist'ini tamamen reddediyor ve Google, Bing, DuckDuckGo, Kagi ile Internet Archive'i allowlist'e alıyor; böylece dürüstçe kendini tanıtan botlar herhangi bir hash hesaplaması başlamadan engelleniyor.

Yazının özellikle altını çizdiği bir ayrıntı: reddedilen ve challenge'a tabi tutulan isteklere 403 yerine HTTP 200 yanıtı veriliyor. Agresif scraper'lar başka her şeyi geçici bir hata sayıp daha sert yeniden deniyor; onlara içeriğiniz yerine maskotlu bir sayfa ile 200 verirseniz, durum makineleri sayfayı başarıyla çekilmiş olarak kaydediyor.

Ödünleşimler açıkça dile getiriliyor. Feed okuyucuları, Slack unfurl'ları ve uptime izleyicileri JavaScript göndermez ve açık allow kurallarına ihtiyaç duyar; aksi halde siteyi erişilemez olarak raporlarlar. Varsayılan olarak yatay ölçekleme yoktur: Anubis her başlangıçta yeni bir Ed25519 anahtar çifti üretir, bu yüzden ayrı örnekler birbirlerinin cookie'lerini reddeder ve her yeniden başlatma okuyucuları yeniden challenge'a tabi tutar. Anubis'i production'da çalıştırmamış olan yazar, kararlı saldırganlara ilişkin bir sınırlamayı da listeliyor.

Neden önemli

Yandex olayı, web trafiğinin ne kadarının otomatik olduğuna dair doğal bir deneydir: tek bir işletmecinin altyapısını kaldırın ve ölçülebilir hacim bir gün içinde buharlaşır. Pratik ders, harekete geçmeden önce ölçmektir. AI crawler trafiği hızla büyüyor, pahalı endpoint'leri hedefliyor ve robots.txt uyumu gönüllüdür. Hiçbir şey yapmamak ile edge'inizi bir üçüncü tarafa devretmek arasında, Anubis gibi araçlar kendi barındırdığınız (self-hosted) bir orta yol sunuyor; önce anlaşmaya değer, belgelenmiş maliyetleriyle birlikte.