Anthropic, LLM yanıtlarını doğrulamaya yönelik zkSNARK sistemi FlashProve'u açık kaynak yaptı

EPFL, MIT, StarkWare ve Succinct'ten akademik ortaklarla çalışan Anthropic, "kanıtlanabilir çıkarım" (provable inference) için açık kaynaklı bir prototip olan FlashProve'u yayımladı: bir dil modelinin yanıtının gerçekten de sağlayıcının hizmet verdiği iddia ettiği belirli model tarafından üretildiğine dair kriptografik kanıtlar. Anthropic'in araştırma yazısına göre sistem pratik olacak kadar hızlı; tek bir H100 GPU'da 400 milyar parametreli bir model için saniyede kabaca 110 token hızında kanıt üretiyor.

Doğrulama boşluğu

Yazı, gözden kaçması kolay bir sorunu tarif ediyor: bir modelin çıktısında, onu hangi modelin ürettiğini söyleyen hiçbir şey yok. Üçüncü taraf bir yönlendirme servisi maliyetleri düşürmek için sessizce daha ucuz bir modelle değiştirme yapabilir; token akışını kurcalayan bir saldırganı da yanıttan tek başına tespit etmek en az o kadar zordur. Gündelik kullanımda bu çok önemli olmayabilir; ancak Anthropic'e göre durum, modelleri yayım öncesi ve sonrası test eden bağımsız değerlendiriciler, belirli bir model için para ödeyen müşteriler ve hizmet verilen modelin değiştirilmediğine dair güvenceye ihtiyaç duyan herkes için önemlidir.

Doğrulama yapısal olarak zordur: sınır modellerinin ağırlıkları özeldir; ağırlıklara sahip olsa bile bir kullanıcının modeli yeniden çalıştırıp yanıtı denetlemek için ciddi miktarda işlem gücüne ihtiyacı olur. Kanıtlanabilir çıkarım, mütevazı kaynaklara sahip ve ağırlıkları bilmeyen birinin, bir yanıtın taahhüt edilen modelden geldiğini doğrulamasını sağlamayı amaçlıyor.

Çıkarıma uygulanan zkSNARK'lar

FlashProve, zkSNARK (sıfır bilgi özlü bilgi kanıtı) adı verilen bir kriptografik kanıt sınıfı üzerine inşa edilmiş. Sağlayıcı önce bir modele taahhütte bulunuyor, ardından her yanıta kısa bir sertifikayı ekliyor. Bu sertifika hızlıca doğrulanabiliyor — ideal olarak sıradan bir CPU'da birkaç saniyede — yanıt taahhüt edilen modelden saparsa başarısız oluyor ve sıfır bilgi olduğu için ağırlıklar hakkında hiçbir şey açığa çıkarmıyor. Anthropic, modelin mimarisini gizlemenin sistemin bilinçli olarak hedeflemiş olmadığı bir nokta olduğunu belirtiyor.

Anthropic'e göre öne çıkan rakamlar şöyle: 4-bit kuantalanmış ağırlıklarla ve prefill aşamasında tam sayı aritmetiğiyle çalışan 400 milyar parametreli bir mixture-of-experts modeli olan Llama 4 Maverick için tek bir H100 GPU, saniyede yaklaşık 110 token hızında kanıt üretiyor; kanıt boyutları 1.024 tokenlık bir istek başına yaklaşık 19 MB. Kanıt üretimi, yaygın bir açık kaynak çıkarım kütüphanesi olan vLLM'in aynı uzunluktaki prompt'ları işlemek için gereken GPU süresinin kabaca 70 ila 95 katı kadar sürüyor. Anthropic, önceki açık kaynak kanıtlanabilir çıkarım sistemlerinin bunun çok gerisinde, birkaç mertebelik farkla yavaş olduğunu söylüyor.

Claude büyük kısmını inşa etti, Lean de iddiaları denetliyor

Yayımın dikkat çekici ayrıntılarından biri de mühendisliği kimin yaptığıdır. Anthropic, zkSNARK'lardaki iyileştirmeleri kendi modeli Claude'a atfediyor; Claude, kanıt sistemleri için iyi yerleşmiş tasarım ilkelerine sadık kalırken kriptografi ve güvenlik literatüründeki en güncel araçları uygulamanın yeni yollarını bulmuş. Büyük bir sistemi optimize eden bir yapay zekâ insanların değerlendirmesinin zor olduğu birçok seçim yaptığı için ekip, güvenlik iddialarını Lean adlı resmi doğrulama diline dayandırdı: en üst düzey matematiksel ifadeler, makine tarafından denetlenen kanıtlarla ve denetimi kolaylaştıran etkileşimli bir görselleştiriciyle geliyor.

Beş artefakt birlikte yayımlandı: blog yazısı, teknik rapor, protokol spesifikasyonu, bir kanıtlayıcı ile iki doğrulayıcı (hızlı bir C++ doğrulayıcı ve kanıtlanabilir şekilde doğru bir Lean doğrulayıcı) içeren çalıştırılabilir kod ve Lean kanıtlarının kendisi. Her şey Apache 2.0 lisansıyla erişilebilir. Anthropic, bunun tamamlanmış bir araştırma gündemi değil ara sıra bir ilerleme olduğunu açıkça belirtiyor ve başkalarının bu çalışmayı alıp geliştirmesi umuduyla yayımladığını söylüyor.

Neden önemli

Kanıtlanabilir çıkarım yeterince ucuzlarsa model kimliği bir güven meselesi olmaktan çıkıp denetlenebilir bir şeye dönüşür. Denetçiler gerçekten hizmet verilen modeli değerlendirdiklerini doğrulayabilir, yönlendirme servislerinin müşterileri ödedikleri şeyi teyit edebilir, sağlayıcılar da işlem gücü kullanım taahhütlerine uyumlarını gösterebilir. Anthropic özellikle donanım kullanımının izlenmesine dayanan yapay zekâ hızlandırma ve düzenleme önerilerine işaret ediyor — örneğin donanımını yeni bir model eğitmek yerine çıkarıma tahsis etmesi gereken bir sağlayıcı hile yapma baskısıyla karşılaşabilir ve kriptografik kanıtlar bir düzenleyiciye denetleme yolu verir. FlashProve'un ek maliyeti, düz çıkarımın 70 ila 95 katı olarak hâlâ kayda değer; ancak bu, seçici ve yüksek güvenceli kullanımın makul göründüğü bir aralıkta. Yayımlanan çalışma ayrıca güvenlik açısından kritik sistemlerin yapay zekâ destekli mühendisliği için işler bir örüntü ortaya koyuyor: optimizasyonu modele bırakın, sonra insanların gerçekten güvendiği taahhütleri biçimlendirin ve makineyle doğrulayın.