Güvenlik araştırmacısı, LLM agent belleğini Datalog tabanlı bir program analizi motoruna dönüştürdü

Bir güvenlik araştırmacısı, uzun güvenlik açığı araştırma seansları sırasında bulguların izini kaybeden agent'lardan duyduğu hayal kırıklığının ardından LLM agent belleğini minyatür bir program analizi motoruna dönüştürme sürecini ilk ağızdan anlattığı bir yazı yayımladı. Hacker News ana sayfasında da görünen pwning.systems adresindeki yazıya göre deney, Lemmalog'un ortaya çıkmasına yol açtı: bir LLM agent'ın, önceki gözlemler yanlış çıktığında kendini güncelleyen tutarlı bir bilgi bütünü tutmasını sağlayan bir Datalog motoru.

Transcript belleminin sorunu

Yazar, güvenlik açığı araştırmasında LLM agent'ları birkaç ay boyunca kullandığını; agent'ların büyük kod tabanlarında gezinmede, tanıdık olmayan alt sistemleri açıklamada ve olası saldırı yüzeylerini keşfetmede etkili olduğunu belirtiyor. Ancak bir araştırma birkaç saate yayıldığında model dağılıyor: daha önce elenmiş yaklaşımları yeniden öneriyor, bir varsayımın çürütüldüğünü unutuyor ve artık geçerli olmayan gözlemlerden akıl yürütmeye devam ediyor.

Yazar, standart bellek sistemlerinin bunu çözmediğini açıklıyor, çünkü bunlar söylenenleri saklıyor. Gömülü konuşmalar ve geri getirilen gözlemler bir tür transcript oluşturuyor ve model, her seferinde güncel bilgi durumunu bu transcript'ten yeniden türetmek zorunda kalıyor. Yazı somut bir örnek veriyor: bir saldırgan object_a'yı kontrol ediyorsa, object_a object_b'ye işaret ediyorsa ve object_b bir kernel nesnesiyse, saldırgan bir kernel nesnesini kontrol edebilir. Saatler sonra bir debugger oturumu, işaretçi ilişkisinin hatalı bir varsayıma dayandığını ortaya çıkarabilir. Geri getirmeye dayalı bir bellek artık hem özgün iddiayı hem de geri çekilmesini içeriyor ve hangi sonuçların hâlâ geçerli olduğunu LLM'in kendisinin ayıklaması gerekiyor.

Program analizini tanımak

Bu yapı tanıdık geldi. Yazarın günlük işi program analizi içeriyor: bir olgu kümesi ile çıkarım kuralları sabit noktaya kadar yineleniyor ve artımlı teknikler, bir girdi olgusu değiştiğinde yalnızca etkilenen sonuçları yeniden hesaplıyor. Agent'tan istenen davranış da tam olarak bu: bir gözlem geri çekildiğinde, ona bağlı sonuçların model sonuçları fark etmesini beklemeden otomatik olarak geçersizleşmesi gerekiyor.

Seçilen biçimcilik Datalog: controls(attacker, object_a) gibi olguları ve yeni olgular türeten kuralları bildirdiğiniz, motorun da ardından gelen her şeyi hesapladığı bildirimsel bir mantık programlama dili. Türetmeler açık olduğu için, tek bir girdiyi değiştirmek sisteme hangi aşağı yönlü sonuçların düşürüleceğini tam olarak söylüyor.

İşin nasıl bölündüğü

Lemmalog araştırmayı bulanık ve deterministik olarak ikiye ayırıyor. LLM dağınık kısımdan sorumlu kalıyor: doğal dil, kaynak kodu ve debugger çıktısını okumak ve bunları yapılandırılmış olgulara dönüştürmek. Bilgi olgu biçimine girdiğinde, sonuçları türeten ve tutarlılığını koruyan, model değil Datalog veritabanı oluyor.

Zorlu kısmın olguları geri çekmek olduğu anlaşılıyor, çünkü bir sonucun birden çok bağımsız desteği olabilir. Bir iddia iki ayrı gözlemden türetilebiliyorsa, birini kaldırmak iddiayı yerinde bırakırken ikisini birden kaldırmak ortadan kaldırıyor. Yazı, bunun güvenlik çalışması için önemli olduğuna dikkat çekiyor: bir hata adayının istismar edilebilir olduğuna dair bir bulgu, başka bir yol hâlâ destekliyorsa bir istismar ilkel bumpının başarısızlığından sağ çıkabilir. Lemmalog bu yüzden her olgunun nasıl türetildiğini izliyor ve girdiler değiştiğinde desteğini güncelliyor.

Agent'a neden diye sormak

Bu türetim kaydı ikinci bir fayda daha sağlıyor: provenance (köken takibi). Bir agent saatler süren çalışmanın sonunda bir adayın istismar edilebilir olduğu sonucuna vardığında, Lemmalog sonucun arkasındaki gözlem ve kural zincirini döndürerek neden sorusunu yanıtlayabiliyor. Bu zincirdeki bir gözlem daha sonra yanlışlanırsa, ona bağlı her şey otomatik olarak geçersizleşiyor.

Bu, yazarın tanımladığı yaygın bir başarısızlık moduna da karşı koyuyor: modellerin kurulmamış bir şeyi kurulmuş gibi kendinden emin bir şekilde iddia etmesi. Lemmalog'da provenance'ı olmayan bir sonuç, korunan durumun parçası bile değil. Yazı, bunun modelin olguları çıkarırken halüsinasyon görmesini engellemediğini kabul ediyor; ama hasarı uzun bir seans boyunca birikmesine izin vermek yerine çıkarım anıyla sınırlıyor.

Neden önemli

Bu, uzun görevlerde LLM agent'ların yaygın olarak kabul gören bir zayıflığına — durum kaymasına — bir uygulayıcının verdiği yanıt. Bağlam pencerelerini büyütmek ya da geri getirmeyi ayarlamak yerine, tutarlılığı program analizinden iyi anlaşılmış bir biçimciliğe devrediyor; modelin iyi olduğu şeyi — dağınık girdileri yorumlamayı — yapmasına izin verirken sonuç ve geri çekme işlemlerini bir veritabanına bırakıyor. Özellikle güvenlik çalışması açısından provenance, agent sonuçlarını savdan, denetlenebilir kanıt zincirine sahip iddialara dönüştürüyor. Bu kalıbın güvenlik açığı araştırmasının ötesinde, olguların revize edildiği her türlü saatler süren agent iş akışına — hata ayıklama, olay müdahalesi veya büyük kod tabanı göçleri gibi — genellenebilir göründüğü de söylenebilir. Ve yazı, yapay zekâ destekli güvenliğin nereye gittiğine dair yararlı bir sinyal: tamamen özerk hata avına değil, LLM'in akıl yürütmesinin harici, değiştirilebilir bir bilgi tabanına dayandığı hibrit sistemlere.