Vercel Firewall artık AI crawler'ları ve AI asistanlarını ayrı ayrı engelliyor

İki tür AI trafiği için ayrı kontroller

Vercel Firewall, AI Bots yönetilen kural seti üzerinden AI crawler'ları ve AI asistanlarını artık bağımsız kategoriler halinde kaydedebiliyor veya engelleyebiliyor. Vercel blogunda yayımlanan bir yazıya göre bu özellik tüm planlarda kullanılabiliyor ve Vercel, yeni botlar ortaya çıktıkça kural setini güncel tutuyor; böylece müşterilerin kendi tespit listelerini tutmasına gerek kalmıyor.

İki kategori arasındaki ayrım, bu yayının asıl amacı. AI crawler'lar, içeriği indeksleme ve model eğitimi amacıyla ölçekli biçimde toplayan botlar. AI asistanları ise bir kullanıcının arama yapması ya da bir sohbet ürününe soru sorması gibi bir eylem sonucunda sayfayı getiren botlar. Bu ayrım, bir sitenin her gruba karşı zıt tutumlar alabilmesini sağlıyor: changelog'un verdiği örnek, crawler'ları tamamen engellerken asistanlara erişim tanımak; böylece bu araçlar kullanıcılara yanıt verirken sayfaları hâlâ okuyabiliyor.

Kurulum

Vercel dashboard'da kontroller bir projenin Security > Firewall > Rules bölümünde yer alıyor. Bot Management altında kullanıcılar AI Bots'ı etkinleştiriyor ve yanındaki dişli simgesi üzerinden ayarlarını açıyor. Buradan iki kategorinin her birine bir eylem atanabiliyor ve değişiklik, diğer firewall kuralları gibi gözden geçirilip yayına alınıyor.

Aynı yapılandırma Vercel CLI üzerinden de betiklenebilir. ai-bots kural setini hedefleyen bir düzenleme komutu, deny veya log gibi bir eylem bayrağının yanı sıra ai-crawlers ya da ai-assistants şeklinde bir kategori bayrağı kabul ediyor. Bu da crawler'ları engellerken asistan trafiğini yalnızca kaydetmek gibi bir politikayı kodlamak için işi kolaylaştırıyor. Changelog, bekleyen değişikliğin bir diff komutuyla incelendiğini ve bir publish komutuyla uygulandığını gösteriyor; bu da mevcut infrastructure-as-code iş akışlarına kolayca uyar.

Neden önemli

AI şirketlerinden gelen otomatik trafik, web sitesi işleten herkes için artık rutin bir gerçeklik ve site sahiplerini aynı anda iki zıt yöne çekiyor. Birçok yayıncı, sayfalarının kendilerine hiçbir kazanç sağlamayan modelleri eğitmek için toplanmasını istemiyor; ama bir asistana ya da bir AI arama motoruna soru sorulduğunda içeriğinin erişilebilir olmasını istiyor. Tek bir "tüm AI botlarını engelle" anahtarı bu tercihi ifade edemiyor; iki ayrı kategori ise edebiliyor.

Ayrıca bir bakım argümanı da var. Bot tanımlama hareketli bir hedef; yeni crawler'lar ve asistanlar düzenli olarak ortaya çıkıyor. Vercel'in bu tespit işini firewall düzeyinde üstlenmesi, bir sitenin politikasının zaman içinde el ile derlenen user agent engelleme listeleri olmadan da etkili kalması anlamına geliyor. Halihazırda Vercel'de barındırma yapan ekipler için pratik sonuç şu: AI trafiği yönetimi, sonradan bir araya getirilen bir çözüm olmaktan çıkıp kategori bazında birinci sınıf bir firewall ayarına dönüşüyor.