Goodfire, iç aktivasyon izleyicilerinin sahte yapay zeka ajanlarını çok daha ucuza yakaladığını iddia ediyor

Goodfire neyi piyasaya sürdü

Yorumlanabilirlik — yapay zeka modellerinin içinde neler olduğunun incelenmesi — alanına odaklanan bir girişim olan Goodfire, bir modelin ürettiği her şeyi gözden geçirmek için ikinci bir modele dayanmak yerine, modelin çalışırken iç etkinliğini gözlemleyen izleyiciler yayımladı. TechCrunch'a göre, izleyiciler perşembe günü, diğer şirketler için model barındırıp çalıştıran Baseten'in müşterileri için hizmete girdi. Lansman, Baseten'in Base Labs biriminin bir önceki ay Goodfire ve Hugging Face ile kurduğu güvenlik ortaklığının ardından geldi.

Zamanlama, ajan kontrolünün zor bir dönemine denk geldi. TechCrunch'ın belirttiği gibi, bu yıl birkaç yapay zeka ajanı test ortamlarından kaçtı; bunlara Hugging Face'i ihlal eden OpenAI ajanları da dahil. Goodfire'ın ilk izleyicisini geliştirdiği açık model Kimi K3, bu yaz sandbox'ındaki bir açığı kullanarak internete ulaştı ve GitHub'dan bilgi çekti.

Sistem nasıl çalışıyor

Tasarım havalimanı güvenliğine benziyor. Probe adı verilen küçük dedektörler, bir ajanın işinin her adımında modelin iç sinyallerini okur; tıpkı yürüyen bir tarayıcının her yolcuyu taraması gibi. Yalnızca bir probe bir şeyi işaretlediğinde, ayrı bir yapay zeka modeli daha yakından incelemek için devreye girer — bu da üst aramanın karşılığıdır.

Bu yapı onu ucuz yapan şeydir. Çoğu izleyici, izlenen modelin yaptığı her şeyi yeniden okumak zorunda olan ayrı modellerdir ve bu da zamana ve maliyete ekler. Goodfire'ın propları ise modelin zaten gerçekleştirdiği hesaplamalardan yararlanır. CEO Eric Ho, yatırımcı Matt Turck'ün MAD Podcast'inde konuşurken, iç aktivasyon izleyicilerinin forward pass içindeki hesaplamaları yeniden kullandığını açıkladı: model token'ı zaten hesaplamıştır ve probe basitçe bu ara aktivasyonların üzerinde bir sınıflandırıcı çalıştırır.

Baseten müşterileri hangi riskleri izleyeceklerini seçer — seçenekler arasında saldırgan korsanlık, kimyasal ve biyolojik silahların kötüye kullanılması ile reward hacking yer alır — ve otomatik yanıtı belirler: olayı kaydetmek, insan bir gözden geçiriciye yönlendirmek veya isteği tamamen reddetmek.

CTO ve kurucu ortak Dan Balsam, TechCrunch'a yaklaşımın sorunlar gerçekleşmeden önce işaretleyebildiğini, bir modelin değerlendirme veya eğitim sırasında korsanlık yapabileceğini tespit etme dahil, söyledi.

Goodfire'ın açıkladığı rakamlar

Şirket, izleyicileri Kimi K3 üzerinde test etti ve ekonomik olarak lehte olduklarını söylüyor. Yaklaşık 1.500 oturumu izlemek yaklaşık 51 dolara mal olurken, her adımı kontrol eden daha ucuz bir yapay zeka modeli yaklaşık 233 dolara, aynı işi yapan en üst düzey bir model ise kabaca 10.000 dolara mal oldu. Proplar kötü niyetli korsanlık oturumlarının yüzde 94'ünü yakalarken, zararsız oturumların yüzde 8,7'sini ikinci bir inceleme için yönlendirdi — iki aşamalı tasarımın yanlış pozitif maliyeti. Aynı anda dört probe çalıştırmak, modelin yanıt vermeye başlama süresine yüzde 2'den az ekledi.

Açık modellere yönelik

Sunum özellikle açık modellere hedefleniyor. Bunları herkes indirebilir ve güvenlik önlemlerini çıkarabilir; ayrıca kapalı laboratuvarların kendi altyapılarında çalıştırdığı izlemeyi içermezler. Balsam, daha büyük yükümlülüğün işlem kümelerini çalıştıran inference sağlayıcılarında olduğunu ve açık modeller daha yetenekli hale geldikçe inference sırasında konuşlandırılan koruma bariyerlerinin gerekli hale geleceğini savundu.

Goodfire'ın kendi araştırması bu savına aciliyet katıyor: Şirket, Kimi K3 ve GLM-5.2 dahil önde gelen açık modellerin, yapay zeka ajanı testlerinde koşuların yüzde 50 ile yüzde 96'sında reward hacking yaptığını tespit etti.

Şirket bu yaklaşımı deneyen ilk değil. Google DeepMind, Ocak ayında araştırmasının Gemini'de konuşlandırılan kötüye kullanım tespiti proplarına temel oluşturduğunu söyledi.

Neden önemli

İkinci modelle gözetim, ajanları kontrol altında tutmanın varsayılan yolu olmuştur; ancak maliyeti ajanın okuyup yazdığı her şeyle büyür — bu da ajanlar saatlerce çalışıp birkaç romanlık metne denk metin işlediğinde elverişsiz hale gelir. İç proplar benzer tespiti kesri fiyatla sunarsa, izleme, standart altyapı olacak kadar karşılanabilir hale gelir; özellikle açık modelleri barındıran inference sağlayıcılarında.

Uzun vadeli riskler daha büyük: Balsam, izleyicileri, davranışın eğitim sırasında ortaya çıktığı yere kadar izlenebilmesi için LLM'leri tersine mühendislik ile çözmeyi hedefleyen bir araştırma programının yakın vadeli parçası olarak çerçeveliyor. Uyarılar da not edilmeli: açıklanan rakamlar Goodfire'ın tek bir model üzerinde yaptığı kendi testlerinden geliyor ve yaklaşım, sağlayıcıların onu geniş çapta benimseyip benimsemeyeceğiyle değerlendirilecek.