Cloudflare Workers AI, GPU belleği uyumsuzluğu sonrası iki hafta boyunca diğer müşterilerin promptlarını sızdırdı

Ne oldu

27 Ağustos ile 9 Eylül arasında, Cloudflare'in Workers AI platformunda GLM-5.3 modeli tarafından üretilen az sayıda yanıt, diğer müşterilerin gönderdiği promptların parçalarını içeriyordu. dev.to'da yayımlanan, Cloudflare'in 26 Ekim tarihli olay raporunun özetine göre 155 yanıt etkilendi ve bunların tümü 681.280 token'dan uzun promptlara verilmiş yanıtlardı. Saldıran bir kişi ya da harici bir ihlal yoktu — sızıntının kaynağı, modelin vaat ettiği ile donanımın sunabildiği arasındaki uyumsuzluktan, yani inference yığınının kendi içinden kaynaklanıyordu.

GPU'ların karşılayamadığı bir context window

Model yaklaşık bir milyon token'lık bir context window duyuruyordu; ancak onu sunan GPU'lardaki KV cache havuzu yalnızca 681.280 token tutabiliyordu. Raporda anlatıldığı gibi, açık kaynak inference çerçevesi SGLang bu havuzu, model yüklendikten sonra geriye kalan GPU belleğine göre başlangıçta boyutlandırıyor ve dağıtımda hiçbir bileşen, ortaya çıkan kapasiteyi modelin desteklediğini iddia ettiği context uzunluğuyla karşılaştırmıyordu.

İkinci bir arıza, bu uyumsuzluğu sızıntıya dönüştürdü. Aşırı uzun bir prompt geldiğinde, SGLang'ın disaggregated prefill ve decode yolu isteği reddedildi olarak işaretliyor ama hiçbir zaman iptal etmiyordu. dev.to'daki anlatıma göre decode düğümü ardından, önceki isteklerin verilerini hâlâ içeren eski cache sayfalarından çıktı üretti; bir müşterinin prompt parçaları başka bir müşterinin yanıtına böylece girmiş oldu.

Cloudflare sorunu nasıl ele aldı

Güvenlik araştırmacısı Gadi Evron sorunu 8 Eylül'de HackerOne üzerinden bildirdi. Cloudflare ertesi gün olay ilan etti, davranışı 25 dakika içinde yeniden üretti ve modeli 40 dakika içinde geri çekti. Düzeltme tüm düğümlere dağıtıldı ve hizmet aynı akşam geri yüklendi. Cloudflare daha sonra SGLang'in geliştiricileriyle çalıştı; v0.5.21'den itibaren yayımlanan sürümlerde upstream düzeltmeler devreye girdi ve 26 Ekim'de, çerçevenin hatalarının yanında kendi hatalarını da adıyla sayan bir postmortem ile süreç kapatıldı.

Etkilenmişseniz ne yapmalısınız

dev.to'da aktarıldığı şekliyle raporun önerisi net:

• Etkilenen dönemde Workers AI üzerinde GLM-5.3'a yaklaşık 681.000 token'ın üzerinde prompt gönderen müşteriler, hesapları konusunda Cloudflare destek ekibiyle iletişime geçmeli.
• Disaggregated serving ile SGLang'ı kendi sunucularında barındıran işletmeciler v0.5.22'nin ötesine güncellemeli.

Neden önemli

Kiracılar arası veri sızdırma, paylaşımlı bir inference platformunun başına gelebilecek en ciddi arıza türlerinden biridir ve bu olay, kötü niyetli bir aktörün hiç devrede olmadığı durumlarda bile gerçekleşebildiğini gösteriyor — iki yapılandırma sayısı arasındaki sessiz bir boşluk bunun için yeterliydi. Mekanizma da sıra dışı değil: cache kapasitesini başlangıçta geriye kalan GPU belleğinden türetmek ve bunu duyurulan context window ile doğrulamamak, başka self-hosted yığınların da kolayca tekrarlayabileceği bir örüntü. Daha geniş ders şu: modelin iddia ettiği context uzunluğu modele aittir; oysa gerçekten sunabileceği context, altındaki donanıma bağlıdır ve ikinci sayı kendi başına doğrulamayı hak eder. Cloudflare'in ele alış biçimi — yarım saat içinde yeniden üretim, gün içinde giderme, upstream düzeltmeler ve açık sözlü bir postmortem — iyi işletilmiş bir olay sürecinin, biri bildirdikten sonra bu sınıf bir hatayı ne kadar hızlı kontrol altına alabileceğinin de yararlı bir örneği.