deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

Google, Google-Agent AI trafiğine izin vermek için CDN ve WAF rehberi yayınladı

Google'ın tarayıcı dokümantasyonu artık, kullanıcı tarafından tetiklenen AI fetcher'ı Google-Agent'ın CDN'ler, WAF'lar ve bot tespit servislerinden User-Agent, IP listesi ve isteğe bağlı imza kontrolleriyle geçmesine olanak tanıyan özel bir sayfa içeriyor.

Google, Google-Agent AI trafiğine izin vermek için CDN ve WAF rehberi yayınladı

dev.to'da yayımlanan bir yazıya göre Google'ın tarayıcı dokümantasyonu, "Google-Agent" trafiğinin content delivery network'ler, web application firewall'lar ve bot tespit servislerinden nasıl geçirileceğini açıklayan özel bir sayfa içeriyor. Sayfa, yazının tanımladığı pratik bir soruna değiniyor: yıllar süren "AI agent'ları engelle" politikalarının sıkılaştırılmasının ardından, hosting sağlayıcıları ve ajanslar, Google altyapısında çalışan kullanıcı tetiklemeli agent'ları arama, ürün detayı veya ödeme sayfalarına hiç ulaşamadan durduruyor.

Google-Agent gerçekte nedir

dev.to yazısına göre Google-Agent, Google'ın altyapısında barındırdığı, bir kullanıcı istediğinde web'de gezinen ve eylemler gerçekleştiren agent'lara verdiği isim. Bu, Search için tarayan Googlebot'tan farklı bir görev ve yalın "google-agent" sorgusunda sonuçlarda öne çıkan Vertex veya Workspace agent araçlarından farklı bir ürün. Ayrıca genellikle robots.txt ve crawl bütçeleriyle yönetilen GPTBot gibi AI eğitim tarayıcılarından da ayrı. Google-Agent allowlisting bir katman daha önce başlar: bir WAF isteği challenge'a tabi tutar veya düşürürse, taranabilirlik ve sayfa performansı soruları hiç gündeme gelmez.

Yazıya göre Google'ın kullanıcı tetiklemeli fetcher tablosu, "Google-Agent" içeren User-Agent dizilerini bir dokümantasyon URL'siyle birlikte, mobil ve masaüstü varyantlarında listeliyor ve trafiğin user-triggered-agents.json dosyasında yayımlanan IP aralıklarından kaynaklandığını belirtiyor.

Üç sinyal, biri isteğe bağlı

Google üç tanımlama sinyali dokümante ediyor ve bu ayrım üretim ortamında önemli. İlk ikisi bugünkü tabanı oluşturuyor; üçüncüsü hâlâ kademeli olarak devreye giriyor.

  • "Google-Agent" içeren User-Agent — ucuz bir ilk filtre, ama tek başına taklit edilebilir çünkü bu diziyi herkes gönderebilir.
  • user-triggered-agents.json'da listelenen client IP'si — bir allow kuralını güvenli kılan şey budur.
  • Web Bot Auth, şimdilik isteğe bağlı — imzalı istekler agent.bot.goog olarak tanımlanıyor, bir public key seti well-known bir endpoint'te yayımlanıyor ve imzalar RFC 9421'e göre doğrulanıyor.

Google'ın Web Bot Auth rehberi, henüz her agent isteğinin imzalı olmadığını açıkça belirtiyor; bu yüzden doğrulama User-Agent artı IP'ye düşüyor. dev.to yazısı, yalnızca imzalı istekleri kabul eden bir kuralın, deney kısmi kaldığı sürece meşru trafiğin büyük bir bölümünü başarısız kılacağı konusunda uyarıyor.

Bu nedenle önerilen yapı şöyle: User-Agent'ı eşleştir, IP'yi yayımlanan listeyle karşılaştır, varsa imza header'larını doğrula ve geçen istekler için etkileşimli CAPTCHA'ları, JavaScript challenge'larını ve kalın HTTP engellemelerini atla.

Sadece ana sayfayı değil, tüm yolculuğu kapsayın

dev.to'nun özetlediği Google'ın sorun giderme listesi; site içi arama, filtreleme, detay sayfaları, sepete ekleme, rezervasyon akışları ve temeldeki XHR, GraphQL ve api.* endpoint'lerini, bir agent'ın ilk dokümandan sonra dokunduğu yüzeyler olarak öne çıkarıyor. Yalnızca kök yolu temizleyen bir allow kuralı, bir asistan bir katalogda filtreleme yaptığında veya bir sepet API'sine istek gönderdiğinde başarısız olur.

Cloudflare, AWS WAF, Fastly ve bot tespit satıcılarının doğrulanmış bot veya yönetilen allowlist özellikleri, elle yazılmış kurallardan daha az kırılgan bir başlangıç noktası olarak tanımlanıyor; ancak yazı, bir onay kutusunun aramayı ve sepet API'lerini temizleyen uçtan uca bir yolculukla aynı şey olmadığı konusunda uyarıyor.

Uygulamalar nerede bozuluyor

Hatalar öngörülebilir bir sırayı izliyor. Allow kuralları, geniş cloud veya data center ASN engellemelerinden ve kategori düzeyindeki "AI agent'ları engelle" paketlerinden önce değerlendirilmelidir; yazıya göre ajans hesaplarında sorun genellikle kural metninde değil kural sırasındadır. HTML yüklendikten sonra bile, CAPTCHA veya JavaScript widget'ları aramada veya form gönderiminde tetiklendiğinde challenge'lar yolculukları bozmaya devam eder. Load balancer'lar ve reverse proxy'ler client IP'lerini değiştirebilir ve imza header'larını kaldırabilir; bu da üst üste binen edge kurulumlarında doğrulamayı bozar. Birden çok kullanıcının agent'ları Google'ın egress havuzunu paylaştığından, IP başına hız sınırları meşru eşzamanlılığı kısıtlayabilir. IP aralıkları ayrıca değişir; bu yüzden JSON feed'inden senkronize edilmeyip bir kez yapıştırılan liste bayatlar.

Yazı ayrıca tanısal bir ayrıma dikkat çekiyor: origin'e hiç ulaşmayan istekler yukarı akışta engellenmiştir; origin'e ulaştığı halde hâlâ challenge cookie'si gerektiren istekler için skip-challenge adımının tamamlanması gerekir.

Neden önemli

Rehber, "AI agent'ları engelle" yaklaşımını ayarla-unut tipi bir güvenlik duruşundan, doğrudan dönüşüm sonuçları olan bir karara dönüştürüyor. Kullanıcı tetiklemeli bir agent, bir müşterinin sitesinde arama, rezervasyon veya ödeme yolculuğunu tamamlayamıyorsa, temeldeki sayfalar ne kadar iyi performans gösterirse göstersin o trafik dönüşmez. Farklı edge sağlayıcılarında çok sayıda müşteriyi yöneten ajanslar için bu değişim, geçici istisnalardan ziyade müşteri başına tekrarlanabilir kontrol listelerini işaret ediyor. Ayrıca RFC 9421 mesaj imzaları üzerine kurulu Web Bot Auth'ün deneyden standart uygulamaya doğru ilerlediğine işaret ediyor — CIDR feed yenilemelerini otomatikleştiren ve doğrulama header'larını her proxy atlmasında koruyan operatörler, bir sonraki doğrulanmış bot yayınına bugünden daha iyi hazırlanmış olacak.

  • #cdn
  • #waf
  • #google-agent
  • #web-bot-auth
  • #bot-management