Cloudflare'e göre internet trafiğinin yarısından fazlası artık insan kaynaklı değil

Şirketin 30 Eylül tarihli blog yazısına göre, Cloudflare ağından geçen trafiğin yarısından fazlası artık insanlardan değil yazılımlardan geliyor. Otomatik isteklerin ağda ilk kez insan isteklerini geçmesi, Cloudflare tarafından "ikinci kitle"nin geldiği şeklinde yorumlanıyor: insanlar adına hareket eden, sitelerin ne görmezden gelebileceği ne de insan ziyaretçiler için tasarlanmış araçlarla hizmet verebileceği yapay zeka ajanları.

Trafik neredeyse ikiye katlandı, istek başına gelir düştü

2024 sonunda Cloudflare saniyede ortalama 63 milyon HTTP isteğini yönetiyordu. Şirkete göre bu rakam o zamandan beri yaklaşık 115 milyona çıktı, zirveler 150 milyonu aştı ve yapay zeka ajanlarından gelen günlük istekler son bir yılda yüzde 1.700'den fazla arttı. İnsan trafiği kaybolmadı; makine trafiği bunun üzerine eklendi.

Site sahipleri için sorun, yeni gelenlerin çoğunun ödeme yapmaması. Cevap motorları bir sayfayı okuyup okuyucuya bir özet sunuyor; bir yönlendirme, reklam gösterimi ya da abonelik üretmeden bant genişliği, işlem gücü ve origin kapasitesi tüketiyor. Cloudflare, en yoğun taranan kategorilerden bazılarında — perakende, bilgisayar yazılımı, BT ve hizmetler ile finansal hizmetler — insan trafiğinin bir yıldan kısa sürede yüzde 40'a kadar düştüğünü söylüyor. Beyan edilen amacı yapay zeka eğitimi olan tarayıcı isteklerinin payı, 2025 baharındaki yüzde 22'den Haziran 2026 itibarıyla yüzde 52'ye yükseldi.

Ajanlar yalnızca tarayıcılar değil

En hızlı büyüyen otomatik trafik artık eğitim tarayıcıları değil ajanlar: genellikle bir kişinin sohbet botuna soru sorması sonucu, o kişi için sayfa çeken yazılımlar. Cloudflare'e göre ajan trafiği insan rutinlerini izliyor; haftalık bir ritme sahip, yaz tatillerinde düşüyor ve bir sitenin ne yayınladığıyla değil insanların sorduğu soru sayısıyla büyüyor. Şirketin argümanı şu: masa rezervasyonu yapan ya da sigorta tekliflerini karşılaştıran bir ajan bir müşteridir, sadece insan olan biri değil; ve onu geri çevirmek, onu gönderen insanı geri çevirmek anlamına gelebilir.

Tek anahtardan amaca özel kontrollere

Cloudflare, ilk içgüdüsünün engellemek olduğunu itiraf ediyor. Geçen yıl yeni alan adlarında yapay zeka eğitim tarayıcılarının engellenmesini önerdi, ancak şimdi genel bir reddin fazla kaba bir yaklaşım olduğunu söylüyor. Temmuz ayunda tek maddelik "AI botlarını engelle" anahtarını, Free dahil her planda kullanılabilen ayrı Search, Agent ve Training kontrolleriyle değiştirdi; verilerine göre sitelerin yüzde 1'inden azı arama tarayıcılarını engellerken yüzde 17'si eğitim tarayıcılarını engelliyor. 15 Eylül'de, bir sitenin dizinde kalmasını sağlarken operatörlere içeriğiyle eğitim yapmama talimatı veren Disallow AI Training'i yayınladı; Apple, Google ve Microsoft bu taahhüdü verdi.

Kimlik doğrulama araçları da politika değişikliğine eşlik ediyor. AI Crawl Control, Business Insights ve BotBase kimin bir siteyi taradığını, ne aldığını ve hangi URL'leri en çok istediğini gösterirken, Web Bot Auth OpenAI, Google ve AWS dahil operatörlerin isteklerini kriptografik olarak imzalamasına olanak tanıyor. Cloudflare artık haftada 500 milyardan fazla doğrulanmış bot isteği gördüğünü söylüyor. Hem arama yapan hem eğitim için kullanılan karma amaçlı tarayıcılar hâlâ sorunlu: bir kullanımı reddetmek, diğerini de reddetmek anlamına geliyor.

Köprü olarak Pay Per Use

Ödeme konusunda Cloudflare, içeriğin değerinin kanıtı olarak lisanslama piyasasına işaret ediyor — 2023'ten bu yana imzalanan 50'den fazla yayıncı-yapay zeka anlaşması — ancak neredeyse tamamının büyük yayıncılar ile büyük yapay zeka şirketleri arasındaki özel anlaşmalar olduğunu belirtiyor. Pay Per Use sistemi diğer herkese ulaşmayı hedefliyor. Doğrulanmış tarayıcı-alıcılar neyin bir kullanım sayılacağını ve ne ödeyeceklerini tanımlıyor; yayıncılar katılmayı seçiyor ve çıkabiliyor; alıcı her kullanımı raporluyor, Cloudflare raporları denetliyor, alıcıya fatura kesiyor ve yayıncıya ödeme yapıyor. Yayıncılar ayrıca neyin kullanıldığını ve ne kazandırdığını görüyor; lisans anlaşmalarının nadiren sağladığı bir görünürlük bu.

Neden önemli

Cloudflare'e göre arama döneminin pazarlığı — motorların sitenizi taramasına izin verin, karşılığında para kazanabileceğiniz ziyaretçiler gönderirler — bozuldu. Her botu aynı gören siteler ya ödeme yapan müşterileri engelleme ya da ücretsiz taranma riskiyle karşı karşıya; ajanları tanımlayıp onlara koşullar belirleyebilen ve ücret tahsil edebilenler ise yeni bir gelir kanalı kazanıyor. Cloudflare'in kontrolleri ve pazar yeri tek bir şirketin yanıtı, ancak yazılımın artık çoğunluk kitle olması anlamına gelen bu temel değişim, kimin araçları kazanırsa kazansın SEO'yu, reklam ekonomisini ve yayıncılık stratejisini etkileyecek.