deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

dev.to yazısı Workers AI'deki istekler arası KV cache sızıntısını ve SGLang düzeltmesini ele alıyor

Bir dev.to yazısı, bir yapılandırma uyumsuzluğunun Workers AI'da bir isteğin KV cache sayfalarının sonraki isteklere sızmasına nasıl yol açtığını ve üç parçalı SGLang düzeltmesini anlatıyor: istek kapsamlı anahtarlar, epoch bariyeri ve minimum TTL.

dev.to yazısı Workers AI'deki istekler arası KV cache sızıntısını ve SGLang düzeltmesini ele alıyor

Yazının bildirdikleri

Mubashir Arham tarafından yazılan ve aslen FutureStack'te yayımlanan bir dev.to yazısı, Cloudflare'in Workers AI platformunda sunulan büyük bir dil modelindeki istekler arası anahtar-değer cache maruziyetini anlatıyor. Yazıya göre olay 2024 sonuna ait ve yazarın GLM-5.3 olarak adlandırdığı, yaklaşık 5,3 milyar parametreli bir modeli kapsıyor; token üretimi SGLang runtime tarafından yönetiliyor. Yazar kusuru hem bir güvenlik riski hem de operasyonel bir tehlike olarak çerçeveliyor: bir çıkarım servisi bağımsız istemci çağrıları arasında durum sızdırığında, tenant izolasyonu bozuluyor ve cache davranışı öngörülemez hale geliyor.

Stack'in anlatımı

Yazı, sunum mimarisini ayrıntılı olarak ortaya koyuyor. Model üç V8 isolate'e bölünmüş; her biri yerel bir attention KV cache barındırıyor. Cache sayfaları Workers KV'de kalıcılaştırılıyor; yazıya göre Workers KV eventual consistency ve yüksek okuma verimi sunuyor ancak yerleşik istek düzeyi izolasyon sağlamıyor. Sayfalar, statik bir model tanımlayıcısı, istek başına bir UUID, bir katman indeksi ve bir token indeksini birleştiren bileşik bir anahtarla adresleniyor. Edge'deki token başına gecikme bütçesi yaklaşık iki milisaniye olduğu için çekimeler toplu yapılıyor.

Runtime tarafında SGLang'ın CacheHandle'ı bir buffer havuzu önceden ayırıyor, KV sayfalarını o bileşik dizeyle anahtarlanan bir hash tablosu üzerinden buffer slotlarına eşliyor ve bir istek tamamlandığında bufferları havuza geri veriyor. Belirtilen değişmez kural, bir isteğin yaşam döngüsü sona ermeden hiçbir bufferın yeniden kullanılamayacağı; havuz, tahsis maliyetini düşürmek için isolate genelinde paylaşılıyor.

Sızıntı nasıl gerçekleşti

Yazıda anlatıldığıyla Workers AI, karşılıklı olarak birbirini dışlayan iki SGLang modu sunuyor. sglang.kv_isolation true olarak ayarlandığında — strict olarak etiketlenmiş — her isteğe özel bir havuz veriliyor ve bufferlar yeniden kullanımdan önce sıfırla dolduruluyor. False yapıldığında — relaxed olarak etiketlenmiş — verimi artırmak için bufferlar istekler arasında geri dönüştürülüyor.

Yazıya göre bir dağıtım betiği kv_isolation = false ayarını sıfır bir KV-sayfası TTL'iyle birleştirmiş; yani sayfalar hiçbir zaman süresi dolmuyor. Bu yapılandırmada, tamamlanmış bir isteğin bufferları, Workers KV eski sayfaları temizlemeden önce bir sonraki isteğe devredilebiliyordu. Yazar, bir saldırganın fetch gecikmesini zamanlayarak önceki tokenların embedding'lerini çıkarabileceğini, en kötü durumda ham KV yüklerini doğrudan okuyabileceğini yazıyor.

Kod düzeyinde yazı, hatayı CacheHandle::acquire yordamına bağlıyor: izolasyon devre dışıyken havuz arama anahtarı request_id bileşenini düşürüyordu, dolayısıyla ilgisiz iki istek aynı buffer slotuna çözümlenebiliyordu. İzolasyon sözleşmesi sessizce başarısız oluyordu.

Düzeltme

Yazıya göre FutureStack'ın düzeltmesi üç değişikliğe dayanıyor:

  1. İstek kapsamlı anahtarlar. request_id, izolasyon bayrağından bağımsız olarak her zaman cache anahtarına gömülüyor; anahtarlar istekler arasında benzersizliği garanti etmek için req:{request_id} önekiyle oluşturuluyor.
  2. Bir nesil bariyeri. Her istek bir epoch sayacı taşıyor ve dönemi mevcut istekten eski olan her slot eski sayılıp atılıyor. Bu, tüm havuzu boşaltmadan hızlı geçersiz kılmaya olanak tanıyor.
  3. Savunmacı bir TTL. KV sayfa süresi dolması en az 30 saniyeye zorlanıyor; kullanıcı tarafından sağlanan TTL ile 30'un en büyüğü olarak hesaplanıyor, böylece herhangi bir buffer yeniden kullanılmadan önce eventual consistency yerleşebiliyor.

Yazı, düzeltilmiş anahtar şemasını ve epoch denetimli okumaları uygulayan bir Python taslağıyla kapanıyor. Belirtmek gerekir ki örnek, yazarın varsayımsal bir SDK olarak adlandırdığı şeyi içe aktarıyor; yani üretim kodu sunmak yerine örüntüyü illustrating ediyor.

Akılda tutulması gerekenler

Bu anlatı tek bir blog yazısına dayanıyor. Bu özet için mevcut materyalde Cloudflare'den veya SGLang geliştiricilerinden doğrulayıcı bir danışma belgesi görünmüyor; ayrıca yazının kendi ayrıntıları da temkinli olmayı gerektiriyor: yazı Kasım 2026 tarihli olmasına rağmen 2024 sonu bir ifşayı anlatıyor ve GLM modelini Meta'ya atfediyor, oysa GLM ailesi genellikle Zhipu AI ile ilişkilendiriliyor. Ayrıntıları doğrulanmış bir güvenlik açığı kaydı olarak değil, bir ekibin mühendislik anlatısı olarak değerlendirin.

Neden önemli

Çok kiracılı LLM çıkarımında istekler arası cache sızıntısı ciddi bir hata sınıfıdır. KV cache'ler doğrudan kullanıcı prompt'larından hesaplanan token başına anahtar ve değer tensorlarını tutar; dolayısıyla bunları başka bir kiracıya maruz bırakan her şey, loglara veya ağ kayıtlarına dokunmadan prompt içeriğini ortaya çıkarabilir. Anlatılan zamanlama yan kanalı — fetch gecikmesinden embedding çıkarma — kısmi bir maruziyetin bile sömürülebilir olabileceğini gösteriyor. Düzeltme örüntüsü de bu olayın ötesine taşınabilir: cache anahtarlarını isteğe göre kapsullaştırın, buffer yeniden kullanımını bir epoch ya da nesil sayacıyla baritleyin ve eventual consistency'li bir depo geri dönüştürülen bir havuzu desteklerken her yerde minimum bir TTL dayatın. Son olarak tetikleyici — verim odaklı bir bayrağın sıfır bir TTL ile birleştirilmesi — izolasyon garantilerinin çoğunlukla kodda değil yapılandırmada yaşadığını ve bir dağıtım betiğinin bunları sessizce kapatabildiğini hatırlatıyor.

  • #ai
  • #security
  • #llm-inference
  • #kv-cache
  • #cloudflare-workers
  • #sglang

İlgili yazılar