Cloudflare'ın x402 gateway'i ve bütçe farkındalıklı bir Go crawler, fetch başına ödemeli bir web'e işaret ediyor

Bir geliştirici, HTTP'nin uzun süredir kullanılmayan 402 durum kodunu çalışan bir ödeme mekanizmasına dönüştüren açık protokol x402'yi kullanarak web sitelerine erişim için ödeme yapabilen bir Go crawler yayımladı. dev.to'da bir yazıda belgelenen bu proje, x402'yi destekleyen ve botların içeriği fetch başına satın aldığı, bedavaya almadığı bir web'e işaret eden Cloudflare'ın Monetization Gateway'i ile aynı döneme denk geldi.

Yazıya göre AI ve scraping botları artık internet trafiğinin %57'sini oluşturuyor; bu oran 2021'de %20'ydi. Site sahipleri ikili bir seçim arasında sıkışıp kalmıştı: botları tamamen engellemek ve faydalı otomatik trafiği de kesme riskini almak, ya da onlara izin vermek ve karşılığında hiçbir şey almamak. x402 üçüncü bir seçenek öneriyor — onlardan ücret almak.

x402 ödemeleri nasıl çalışır

Yazar, 402 'Payment Required' durumunun HTTP spesifikasyonunda 1991'den beri var olduğunu ancak hiçbir zaman pratikte uygulanmadığını belirtiyor. x402 onu canlandırıyor. Korumalı bir endpoint'i isteyen istemci, fiyatı, bir hedef cüzdan adresini ve beklenen ağı içeren bir 402 yanıtı alır. İstemci, işlemi gerçekleştiren ve bir transaction hash'i döndüren bir facilitator servisi aracılığıyla zincir üstünde ödeme yapar. İstemci daha sonra orijinal isteği bu hash'i X-Payment-Signature başlığında taşıyarak yeniden dener ve sunucu, içeriği sunmadan önce ödemeyi facilitator üzerinden doğrular.

Yazıya göre protokol, Cloudflare, Coinbase, AWS, Google, Stripe ve Visa'nın desteğiyle Linux Foundation çatısı altında duruyor. Coinbase standardı birlikte yönettiği için çoğu site Base üzerinde settlement yapıyor; ancak Solana, Ethereum ve Polygon da destekleniyor. Facilitator'lar isteğe bağlıdır ama önerilir; yazar, Base'in test ağı olan Base Sepolia'ya karşı, FareSide açık kaynak projesinden ücretsiz bir genel facilitator kullanarak test yaptı.

Cüzdanını izleyen bir crawler

GitHub'da yayımlanan x402-crawler projesi bilinçli olarak üç kaygıyı ayrıştırıyor. Bir client paketi ödeme protokolünü — 402 işleme, imzalama ve yeniden deneme sınıflandırması — bir crawler paketi geçişi, bir BudgetTracker ise her harcama kararını üstleniyor. Ödeme yetkilendirmesi varsayılanı olmayan zorunlu bir adımdır: politikası olmayan bir client, bir sunucunun istediği her şeyi öderdi ve bu arıza, para bitene kadar görünmez kalırdı. Gerçekten harcama üst sınırı istemeyen çağrıcılar bunu açıkça tercih etmek zorundadır.

Uygulama, ücretli taramayı zorlaştıran arıza durumlarını ele alıyor. Ödeme başına ve toplam bütçe sınırları tek bir lock altında talep edilir, böylece eşzamanlı worker'lar topluca aşırı harcama yapamaz. x402 spesifikasyonundaki her arıza nedeni terminal, yeniden denenebilir veya mutabakat gerektiren olarak sınıflandırılır ve bir settlement_pending sonucu körlemesine yeniden denenmek yerine zincir üzerinden kontrol edilir; çünkü körlemesine yeniden denemeler, bir fetch'in iki kez ödenmesinin yoludur. Bir dry-run modu, tüm bir taramayı bütçe sınırlarına saygı göstererek fonlamadan fiyatlandırır. PDF'ler, dosya adları URL'den hash'lendiği için sunucunun yerel dosya sistemine ne indiğini seçememesi adına bir boyut sınırı altında diske akıtılır. Aynı URL'yi getirmek için yarışan eşzamanlı worker'lar tek bir istekte birleşir ve sonucu paylaşır; ayrıca bir log sansürleme çekirdeği, özel anahtarları hangi alan adıyla log'landıklarından bağımsız olarak çıktıdan ayıklar.

Cloudflare'ın çift taraflı bahsi

Yazının daha geniş argümanı, Cloudflare'ın aynı anda bir değil iki crawler ödeme sistemi yürüttüğüdür. Daha eski sistem olan Pay Per Crawl blockchain kullanmaz: Cloudflare kayıt tutan satıcı (merchant of record) olarak hareket eder, hem crawler operatörünün hem de yayıncının Cloudflare faturalandırma hesaplarına ihtiyacı vardır, crawler'lar Web Bot Auth ile doğrulanır ve hedef pazar Perplexity ve OpenAI gibi şirketlerle kurumsal anlaşmalardır. Monetization Gateway'in x402 desteği ise ikinci sistemdir: Cloudflare hesabı gerekmez, kimliği cüzdanın kendisi sağlar ve herhangi bir agent, önceden bir ilişki olmadan herhangi bir siteye otonom olarak ödeme yapabilir.

Yazar bunları tek bir stratejinin birbirini tamamlayan yarıkları olarak okuyor — Pay Per Crawl kurumsal faturalandırma ilişkilerini kilitlerken x402 açık protokol trafiğini yakalıyor — ve Visa ile bir benzetme kuruyor: Cloudflare, kimsenin parasını elinde tutmadan her işlemin ortasında duruyor ve emaneti değil konumunu paraya çeviriyor.

Neden önemli

x402 traction kazanırsa, yayıncılar ile AI crawler'lar arasındaki çıkmaz, engelleme karşı bedava kullanmadan ölçülü erişime kayabilir. Yayncılar telafi edilmeyen scraping için olası bir cevap bulur; agent geliştiricileri, özel anlaşmalar pazarlık etmek yerine içeriği programatik olarak satın almanın standartlaşmış bir yolunu elde eder. Crawler ayrıca agent'lı ticaretin pratikte ne talep edeceğini önceden gösteriyor: harcama sınırları, çifte ödemeyi önleyen yeniden deneme semantiği ve platform hesapları yerine kriptografik anahtarlara bağlı kimlik. Henüz kanıtlanmamış olan şey benimsenme — yeterince sitenin 402 endpoint'leri kurup kurmayacağı, zincir üstü settlement'ın fetch başına trafiğ için yeterince hızlı ve ucuz olup olmadığı ve bir edge ağının web'in çoğunda ödeme yolunu işgal etmesinin sağlıklı olup olmadığı.