Cloudflare, Verified botları davranışlarına göre notlandıracak ve güven puanlarını Radar'da yayımlayacak

Verified botlar artık yalnızca kimliğe göre değil, davranışa göre değerlendirilecek

Cloudflare, Verified bot programındaki botları sabitlenmiş bir kimliği değerlendirmenin sonu olarak görmek yerine, süregiden davranışlarına göre notlandırmaya başladı. Şirketin bloguna göre sistem, doğrulanmış tarayıcıların zaman içinde web sitesi tercihlerine uymaya devam edip etmediğini izliyor, her bot için açıklanabilir bir "güven bandı" üretiyor ve nihayetinde müşterilerin bu trafiğin nasıl ele alınacağını belirleyen bir eşik değeri ayarlamasına olanak tanıyacak.

Doğrulama sorunun yarısını çözdü

Cloudflare, Verified botların üç kritere uymasını şart koşuyor: kendilerini doğru ve güvenli biçimde tanıtmak, yalnızca söyleyeceklerini yapmak ve istismar edici davranıştan kaçınmak. Botlar kimliklerini Web Bot Auth ile istekleri imzalayarak kanıtlıyor ve BotBase bu kimlikleri açık bir formatta katalogluyor.

Cloudflare'nin çerçevesinde kimliklendirme büyük ölçüde çözülmüş durumda; eksik olan, bilinen bir botun içeri alındıktan sonra düzgün davrandığına dair sürekli kanıt. Şirket, risk ile güven arasında ayrım yapıyor: risk, tek bir isteğin zararlı olma ihtimali olup anlık olarak değişebilir; güven ise tekrarlanan ve tutarlı davranışla inşa edilir.

Cloudflare neyi ölçüyor

Değerlendirme iki sinyalle başlıyor.

İlki, botun yayımlanmış talimatlara saygı gösterip göstermediği. Sistem, bir tarayıcının gözlemlenen trafiğini zaman içinde sitenin robots.txt dosyasıyla karşılaştırıyor; bu, RFC 9309 ile tutarlı bir yaklaşım. Yalıtılmış ihlaller çok az ağırlık taşıyor; Cloudflare, beyan edilen tercihleri yok sayan tekrarlanan örüntüler aradığını söylüyor. Şirket ayrıca robots.txt'in bir taban değil bir tavan olduğunu vurguluyor — dosyanın bahsetmediği her şey otomatik olarak serbest değil ve siteler, erişimin artık istenmediğini diğer sinyallerle de bildirebilir.

İkincisi, botun doğrudan geri bildirime yanıt verip vermediği. Yük altındaki bir site HTTP 429 "Too Many Requests" yanıtıyla, bazen ne kadar beklemesi gerektiğine dair yönlendirmeyle birlikte, geri çekilme talimatı verebilir. Cloudflare, botun ardından yavaşlayıp yavaşlamadığını, duraklatıp duraklatmadığını ya da aynı hızda istek göndermeye devam edip etmediğini kontrol ediyor. Tutarlı biçimde geri çekilmek güveni artırıyor; sinyali defalarca yok saymak ise düşürüyor.

Çıktı bir güven bandı: bir botun site tercihlerine ne kadar tutarlı uyduğunu ve değerlendirmenin dayandığı gözlemlenen davranışları yansıtan bir aralık. Cloudflare, bunun bot ya da işleticisi hakkında kalıcı bir hüküm olmadığını vurguluyor — bu önemli bir uyarı; çünkü şirkete göre sorunlu davranış çoğu zaman kötü niyetten değil, yanlış yapılandırmadan ya da bir hatadan kaynaklanıyor.

Öncül: Perplexity'nin listeden çıkarılması

Cloudflare, 2025'te Perplexity'nin botunu listeden çıkarmasını sistemin yakalaması amaçlanan türden bir başarısızlık olarak gösteriyor. Şirkete göre bot, kazımayı reddeden web sitelerindeki kaynaklara erişmeye çalışmış ve engellendikten sonra kontrolleri atlatma girişiminde bulunmuş. Sürekli notlandırma ile bu tür sapmalar, ses getiren bir olayın yaşanması beklenmeden güven bandında ortaya çıkacak.

Yaygınlaştırma ve daha geniş döngü

Şimdilik Cloudflare, sistemi kendi içinde çalıştırarak Verified bot listesi için davranış geçmişi oluşturuyor ve gözlemlerin nasıl yararlı bir rehbere dönüştürüleceğini inceliyor. Şirket puanları Radar'da yayımlamayı ve ölçtüklerini genişletmeyi planlıyor. Ayrıca sistemi, site sahiplerinin tercihlerini yayımlamasına yardımcı olan Bot Preference Sync ile otomatik trafiğin nasıl ele alınacağına karar veren Bot Management'ın yanına konumlandırıyor — Cloudflare bu bileşimleri otomatik trafik için bir hesap verebilirlik döngüsü olarak tanımlıyor. Nihayetinde tüm Cloudflare müşterileri, Verified bot trafiğine uygulanacak güven eşiğini seçebilecek.

Neden önemli

Verified statüsü şimdiye kadar kimlikle ilgili bir beyandı ve kimlik tek başına, tarayıcı kapıdan içeri girdikten sonra zayıf bir güvencedir. Bu ayrıcalığı süregiden, ölçülebilir, açıklanabilir — ve nihayetinde kamuya açık — davranışa bağlamak, otomatik trafiği işleten her büyük operatör için teşvikleri değiştiriyor. Site sahipleri botlara izin vermek için kanıta dayalı gerekçeler ve kuralları sıkılaştırmak için bir ayar düğmesi kazanırken, sorumlu operatörler de bel bağladıkları erişimi hak ettiklerini gösterebilecek bir yol elde ediyor. Perplexity örneğinin gösterdiği gibi, önde gelen oyuncular bile kazıma geri çekilmelerini yok sayabiliyor; bu da doğrulanabilir süregiden hesap verebilirliği, belki de doğrulamanın kendisinden daha değerli kılıyor.