Cloudflare BotBase güncellemesi gönderi takibi, düzenlenebilir kayıtlar ve otomatik bot doğrulaması getiriyor

Bot gönderileri için özel bir ana sayfa

Cloudflare, bot ekosisteminin öbür tarafını — crawler ve AI agent işleten şirketlere ve bireylere — yönelik bir dizi dashboard özelliği olan BotBase for Operators'ı tanıttı. Cloudflare bloguna göre bu lansman, Cloudflare dashboard'undan aranabilen bilinen botların dizini BotBase ile site sahiplerinin crawler'ların sayfalarıyla nasıl etkileştiğini görmesine yardımcı olan Business Insights üzerine inşa ediliyor. Her ikisi de geçen ay Cloudflare'in ikinci Content Independence Day etkinliğinde duyurulmuştu.

Şimdiye kadar bir operatörün sürece katılımı büyük ölçüde gönderi formuyla sona eriyordu. Gönder butonuna bastıktan sonra durumu kontrol etmenin, bir kaydın neden reddedildiğini öğrenmenin ya da sistemde kayıtlı bilgileri güncellemenin kolay bir yolu yoktu — bu sorular daha önce destek e-postası üzerinden çözülmek zorundaydı. Cloudflare, yeni sürümün bu boşluğu şeffaflıktan başlayarak hedeflediğini söylüyor.

Gönderi araçları da taşındı. Form eskiden Manage Account → Configurations altındaydı; artık Protect & Connect → Application Security → BotBase konumunda ve tüm müşterilere açık. Bölüm kullanım senaryosuna göre üç parçaya ayrılıyor: Cloudflare Radar'daki kataloğu yansıtan bir bot dizini, yeni bot göndermek için bir form ve bir gönderi geçmişi görünümü.

Durum, ret gerekçeleri ve düzenlemeler

Geçmiş sekmesi bir hesaptan gönderilen her botu üç durumdan biriyle listeliyor: inceleme bekliyor, kabul edildi veya reddedildi. Reddedilenler bir açıklama ve düzeltip yeniden göndermek için uygulanabilir adımlarla geliyor; kabul edilen kayıtlarda ise Cloudflare'ın yaptığı sınıflandırma değişiklikleri görünüyor. Kayıtlar lansman gününden itibaren görüntülenebiliyor ve dizindeki "Botlarım" filtresi, oturum açılan hesap altında gönderilen her şeyi ayrıştırıyor.

Operatörler artık mevcut bir gönderiyi tüm formu yeniden doldurmak yerine düzenleyebiliyor — bu, bir botun IP listesi yeni bir endpoint'e taşındığında ya da operatör trafiği Web Bot Auth ile imzalamaya geçtiğinde işe yarıyor. İncelemeyi bekleyen gönderiler iptal edilebiliyor. Cloudflare, doğru ve güncel bilgilerin bir botun Verified statüsünü kazanmasının ve korumasının merkezinde olduğunu vurguluyor; bu statüs giderek ağ genelindeki sitelerin bota kolayca izin verip vermeyeceğini şekillendirse de, trafikle ilgili nihai karar her zaman site sahibine aittir.

Üç bölümlü gönderi formu

Yeni form, Cloudflare'ın 1 Temmuz'da tanıttığı davranış ve içerik kullanımı taksonomisini izliyor. Bir botu tek bir etikete sıkıştırmak yerine operatörler üç şeyi tanımlıyor: bot ne yapıyor, okuduğu şeyi nasıl kullanıyor ve botu fiilen kim işletiyor.

Arama dizinleme, kullanıcı adına hareket etme, veri toplama, model eğitme veya SEO araçlarını destekleme gibi davranışlar geçerli oldukları yerde seçilebiliyor. İçerik kullanımı, web sitesi sahiplerinin kendi kurallarını belirlemek için zaten kullandığı Content Signals modeli altında beyan ediliyor — Cloudflare, bir robots.txt satırı olan Content-Signal: search=yes, ai-train=no, use=reference örneğini, botun beyanının kontrol edildiği tercih türüne örnek olarak gösteriyor. Üçüncü eksen, botları kendi altyapısından çalıştıran doğrudan operatörleri aracı kuruluşlardan ayırıyor: örneğin, genel amaçlı bir AI asistanın bir sayfayı getirmesi, asistanın API'si üzerine kurulu başka bir şirketin ürününün isteği göndermeye karar vermesi nedeniyle gerçekleşiyor olabilir.

Otomatik inceleme manuel kuyruğun yerini alıyor

İncelemeler de yeniden yapılandırılıyor. Her yıl gönderilen yeni bot sayısı 2023'ten beri kabaca yedi kat arttı ve Cloudflare, bir ekip üyesinin her kaydı iç bir ölçüte göre kontrol ettiği tamamen manuel bir sürecin bu hızla ölçeklenemediğini söylüyor.

Gönderiler artık otomatik kontrollerden geçiyor: bot halihazırda takip edilen bir botun kopyası mı, user-agent deseni mevcut bir kayıtla çakışmadan botu tanımlamaya yeterince özgün mü ve beyan edilen doğrulama yöntemi gerçekten tutuyor mu — IP listesinin getirilmesi, ters DNS'in doğrulanması ya da bir Web Bot Auth imzasının geçerli kılınması. Kontrollerden geçen botlar hemen takibe alınabiliyor, daha yakından incelenmesi gerekenler ise nedeni önceden işaretlenmiş halde Cloudflare ekibine yönlendiriliyor. Şirket, çoğu gönderinin bunun sonucunda daha hızlı ilerleyeceğini bekliyor.

Neden önemli

Otomatik trafik, geleneksel arama crawler'larından kullanıcı adına hareket eden AI agent'lara hızla çeşitleniyor ve çoğu site sahibi bu ekosistemi elle takip edemiyor. Cloudflare, BotBase'i soruna ortak alt yapı olarak konumlandırıyor: operatörler kendilerini tanıtmanın ve bunu kanıtlaymanın standart bir yolunu buluyor, site sahipleri ise izin ve engelleme kararlarını dayandırabilecekleri yapılandırılmış, karşılaştırılabilir beyanlara — davranış, içerik kullanımı ve operatör türü — kavuşuyor. Otomatik doğrulama, gönderi hacmi artarken bu dizini güvenilir tutan şey.

İtinayla dikkat edilecek noktalar da var. Sistem operatörlerin katılımına ve kayıtları güncel tutmasına bağlı ve Cloudflare'ın Verified statüsü sessizce web'in büyük bir kesiminde kapı bekçisi sinyaline dönüşüyor. Herkes için açık bir site işleten ya da bir siteye erişmesi gereken bir bot çalıştıran herkes için bu süreç artık yakından izlenmeye değer.