deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

Anthropic'ın FlashProve'u, LLM çıkarımını saniyede 110 token hızla sıfır bilgi kanıtıyla doğruluyor

Anthropic'ın Frontier Red Team ekibi, taahhüt edilmiş bir model ağırlığı kümesinin belirli bir yanıtı ürettiğini kanıtlayan ve sıradan bir CPU'da saniyeler içinde doğrulanabilen zkSNARK prototipi FlashProve'u açık kaynak olarak yayımladı.

Anthropic'ın FlashProve'u, LLM çıkarımını saniyede 110 token hızla sıfır bilgi kanıtıyla doğruluyor

FlashProve ne yapıyor

Bir uygulama bir modele API üzerinden çağrı yaptığında, token'larla birlikte dönen model tanımlayıcısı, sağlayıcının bir iddiasından ibarettir. Yanıtta, sessizce daha ucuz bir model kullanan bir yönlendiriciyi, elle oynanmış bir çıkarım sunucusunu ya da onaylanmış bir modelin yerine geçen daha güçlü bir modeli dışlayan hiçbir şey yoktur. Dev.to'da yayımlanan bir yazı, Anthropic'ın Frontier Red Team ekibinin EPFL, StarkWare, MIT ve diğerlerinden araştırmacılarla birlikte 2 Kasım 2026'da FlashProve adlı açık kaynaklı bir prototipi yayımlayarak bu iddiayı doğrulanabilir kıldığını özetliyor.\n Fikir özetle basit: sağlayıcı önce tam olarak tek bir ağırlık kümesine kriptografik olarak taahhütte bulunur, ağırlıkları gizli tutarak kısa bir parmak izi yayımlar. Ardından her yanıt, taahhüt edilen ağırlıkların belirli bir prompt için tam olarak o çıktı token'larını ürettiğine dair bir kanıt taşıyabilir. Dev.to gönderisine göre doğrulayıcının GPU'ya ihtiyacı yoktur ve ağırlıklar hakkında hiçbir şey öğrenmez.

Nasıl çalışıyor

FlashProve, bir hesaplamanın doğru çalıştığını, bu gerçeğin ötesinde hiçbir şey açığa çıkarmadan kanıtlayan ve yeniden yapmaktan çok daha ucuz doğrulanan kısa bir sertifik olan zkSNARK üzerine kuruludur. Gönderinin anlattığı gibi arka planda tanıdık bir reçete izlenir: etkileşimli oracle kanıtı, hash fonksiyonları aracılığıyla kriptografik bir kanıta derlenir ve yapı ayrıca post-quantum güvenlik sunar.

İki aşamada çalışır. Çevrimdışı aşamada sağlayıcı ağırlıklara taahhütte bulunur; bu, tek bir H100'de model başına yaklaşık 39 dakika sürer. Taahhüt, yenilenmeden önce kabaca 16 milyon isteği kapsar ve istemci yaklaşık 6,5 MB taahhüt verisi indirir. Çevrimiçi aşamada kanıtlayıcı, her yanıt için, taahhüde, prompt'a ve yanıta sahip olan herkesin doğrulayabileceği bir kanıt üretir.

Hızdaki başarı üç mühendislik tercihe dayanır. Maverick bir mixture-of-experts model olduğu için, 400 milyar parametresinin token başına yalnızca yaklaşık 17 milyarı etkindir; böylece kanıtlayıcının işi etkin uzmanlarla ölçeklenirken kanıt hangilerinin çalıştığını gizlemeye devam eder. Kanıtlama sonradan ve toplu halde yapılır; böylece ağırlık taahhüdü istek başına değil, toplu iş başına bir kez açılır; 24 isteklik bir toplu iş yaklaşık 223 saniye sürdü. Ağırlıklar ana bellekten bölümler halinde aktığından tek bir 80 GB GPU ve yaklaşık 290 GB ana bellek yeterlidir.

Rakamlar

4-bit ağırlıklara sahip 400 milyar parametreli mixture-of-experts model Llama 4 Maverick için tek bir H100, saniyede kabaca 110 token hızla kanıt üretiyor. Her kanıt, 1.024 token'lık bir istek için yaklaşık 19 MB ve doğrulama, 24 iş parçacıklı bir CPU'da yaklaşık 17 saniye sürüyor. Maliyet, aynı istekleri vLLM ile sunmanın GPU süresinin kabaca 70-95 katı; gönderi bunu her token'ı kanıtlamak için çok pahlı, ancak örneklenen trafik veya güvenlik taramaları, değerlendirme çalışmaları gibi yüksek riskli çıktılar için uygulanabilir buluyor.

Önceki zkML çalışmalarıyla karşılaştırma, alanın ne kadar hızlı ilerlediğini gösteriyor: ZKML, 117 milyon parametrelik GPT-2'yi token başına yaklaşık 159 saniyede kanıtladı; 2024'teki zkLLM, LLaMA-2-13B'yi saniyede yaklaşık 2,5 token ile işledi; VerInf aynı Maverick modelini saniyede yaklaşık 0,02 token hızla kanıtladı ve doğrulaması neredeyse bir gün süren 93,6 GB'lık kanıtlar üretti. Attestable adlı ticari bir sistem Gemma 4 31B'de saniyede 53-77 token'a ulaştı ancak açık kaynak değil. Dev.to yazarının aktardığına göre Anthropic'ın çıkarımı, doğal hesaplama üzerinden ek maliyetin yaklaşık iki mertbe olduğu ve önceden beklenenden düşük olduğudur.

Güvenilmeye değer bir doğrulayıcı

Kriptografik kod kırılgandır; bu yüzden ekip tamamlanmayı (completeness), sağlamlığı (soundness) ve sıfır bilgi özelliklerini Lean kanıt asistanında biçimselleştirdi ve bunları random oracle modelinde kanıtladı. Günlük kullanım için hızlı bir C++ doğrulayıcı ile, sağlamlık teoreminin izin verdiğinden başkasını kanıtlanabilir biçimde kabul etmeyen daha yavaş bir Lean doğrulayıcı sevk ediyorlar. İki boşluk kaldı ve yazı bunları açıkça dile getiriyor: biçimsel ifadelerin niyetle örtüştiğini insanlar denetlemek zorunda ve hızlı kod ile Lean belirtimi arasında biçimsel bir bağ yok.

Sınırlamalar

Kanıt, greedy decoding altındaki ağırlıkların tam bir tamsayı sürümünü kapsıyor; örneklemeli decoding veya kayan nokta uygulamaları sapabilir ve kanıtlanan hesaplamayla artık örtüşmeyebilir. Bağlamlar 1.024 token ile sınırlı; gerçek sohbet veya ajan oturumlarının çok gerisinde. Yalnızca mixture-of-experts modeller destekleniyor ve mimari gizli değil. Zamanlama yan kanalları kapsam dışında. Bu bir araştırma prototipi ve Anthropic, Frontier Safety Roadmap hedefine ayrı bir yaklaımla — trafiği imzalayıp güvenilir bir sunucuda yeniden hesaplayarak — zaten ulaştığını, bu nedenle hedefin adını sonradan "inference verification" olarak değiştirdiğini belirtiyor.

Neden önemli

Bir API'de model kimliği bugün bir güven meselesi ve bu, yönlendirme denetimlerini, sürüm öncesi ve sonrası değerlendirmeleri, oynama tespitini, provenans iddialarını ve onaylanmış modellerin sunulduğuna dair kanıt isteyebilecek düzenleyicileri etkiliyor. FlashProve, bir metnin hangi ağırlıklarla üretildiği sorusunun, frontier ölçeğinde bile ucuzça doğrulanabilir bir özelliğe dönüşebileceğini gösteriyor. Ek maliyet rutin kullanım için hâlâ çok yüksek, ancak tasarım dersi genellenebilir: garantiyi küçük, biçimsel olarak doğrulanmış bileşene koyun ve başka hiçbir şeye güvenmeyi gerektirmeyin. Mühendisler için şu anki pratik adımlar, istek başına prompt'ları, kesin çıktı token'larını, model tanımlayıcılarını ve decoding ayarlarını kaydetmek ve provenansın önemli olduğu her yerde greedy decoding'i sabitlemektir.

  • #anthropic
  • #zero-knowledge-proofs
  • #llm
  • #cryptography
  • #open-source

İlgili yazılar