LLM agentları eksik güvenlik kanıtını izin olarak yorumluyor, EpiSEM-Bench analizi uyarıyor

Analizin öne sürdükleri

Bohdan Hordii'nin dev.to'da yayımladığı teknik bir yazı, modern LLM tabanlı agentların az incelenmiş bir güvenlik açığı paylaştığını savunuyor: temiz ve hatasız bir tool yanıtını, eylemin uygun olduğunun kanıtı olarak yorumluyorlar. Yazı, arXiv'te listelenen EpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidence adını verdiği bir benchmark'a atıfta bulunuyor; bu benchmark'ın, önde gelen foundation modellerin bir durumu yalnızca kısmen gözlemleyebildiklerinde pasif güvenlik hizalamasında başarısız olduğunu — ya hiç döndürülmemiş izinleri uydurarak ya da harici bir kısıt olmadıkça yürütmeye varsayılan olarak geçerek — gösterdiğini belirtiyor.

Baştan bir uyarı: bu anlatım tek bir blog yazısına dayanıyor. Makalenin kendisi burada bulunan materyaller arasında değil ve yazı, benchmark'ın sonuçlarını yalnızca niteliksel olarak açıklıyor; puan ya da yüzde yayımlamıyor.

Pratikteki başarısızlık biçimi

Yazı, kök varsayımı closed world semantics (kapalı dünya anlambilimi) olarak adlandırıyor: bir API veya CLI tool'u hata kodu ya da uyarı bandı olmadan başarılı bir payload döndürürse, agent işlemin sorunsuz olduğu sonucuna varıyor. Sorun, bir yanıtın güvenlik açısından kritik nitelikleri atladığında ortaya çıkıyor — yazının örnekleri arasında is_production, retention_lock ve regulatory_hold gibi alanlar var. Payload'daki her token katı biçimde doğru olabilir, ama tek başına bu atlama, ona dayanarak eylemde bulunmayı tehlikeli kılıyor.

İşlenmiş örnek, bir cluster'daki worker node'lara bağlı öksüz volume'ları temizlemesi istenen bir altyapı orkestrasyon agentı. list_volumes çağrısı volume ID'lerini ve disk boyutlarını döndürüyor, ancak yukarı akıştaki bir sayfalama hatası veya kullanımdan kaldırılmış bir şema protection_status niteliğini tamamen çıkarıyor. Agent açık bir yasak görmeyince ID'lerden birine delete_volume çağrısı yapıyor. O volume'un aktif bir snapshot hold altındaki kalıcı bir state store'a ait olduğu ortaya çıkıyor ve sonuç bir production kesintisi oluyor.

Yazı bunu, kanıt yokluğunun izin yokluğu olarak sayılması gereken klasik zero-trust akıl yürütmesiyle karşıtlıyor. Agent döngülerinin, savunmaya göre, bu kuralı fiilen tersine çevirdiğini ileri sürüyor: eksik kanıt, eksik kısıt olarak okunuyor.

Kanıt talep eden koruma bariyerleri

Hordii'nin önerdiği çözüm, modelin payload yorumlamasına güvenmeyi bırakıp ön koşulları kod içinde deterministik olarak zorunlu kılmak. Yazı, tipli şemalar üzerine kurulu bir Python tasarımı taslaklıyor: güvenlikle ilgili bilgilerin — ortam, yazma kilidi durumu, yedek doğrulaması — varsayılan yerine bilinmiyor olarak başladığı bir EpistemicContext nesnesi; yalnızca her kritik invariant açıkça doğrulandığında geçen bir yürütülebilirlik denetimi; ve bir tool çağrılmadan önce hâlâ eksik olan invariant'ları yoklayarak çözen, toplanan bilgiler örtüşmezse permission error yükseltip yürütmeyi durduran bir güvenlik kapısı.

Yazı bunu, agent sistemleri için iki aşamalı bir mimariyle eşleştiriyor: planlama agentı yalnızca yürütme planlarını ayrı bir guardrail servisine gönderebilir ve o servis, ön koşul bilgileri deterministik kanıttan yoksun olan her planı reddeder.

Yazının önerileri

Üç mühendislik çıkarımı öne çıkıyor:

• Sessiz tool çıktılarına güvenmeyin. Bir payload, bir kaynağın güvenlik niteliklerini açıkça serileştirmiyorsa, sessizliği onay olarak okumak yerine katı bir fallback uygulayıp kaynağı doğrulanmamış olarak işaretleyin.
• Planlamayı yürütmeyi ayrıştırın. Planları, yıkıcı bir şey çalışmadan önce ön koşulların kanıtını talep eden bir doğrulama katmanından geçirin.
• Benchmark'ları yeniden düşünün. Modelleri otonom DevOps veya DevSecOps rolleri için değerlendirirken, yalnızca pasif reddetme oranlarını ölçmek yerine, bağlam eksik olduğunda hedefli yoklama soruları sorup sormadıklarını test edin.

Neden önemli

Yazıdaki senaryo ne bir saldırgan ne de sıradan bir model hatası gerektiriyor. Sayfalama hataları, şema kullanımdan kaldırmaları ve kısmi API yanıtları production sistemlerde rutin olaylardır ve agentlara bu sistemlere yazma erişimi giderek daha fazla veriliyor. Bir agent atlanmış bir koruma bayrağını silme lisansı olarak yorumluyorsa, başarısızlık sessiz, hızlı ve pahalı oluyor.

Daha derin tartışma, güvenlik ekosistemlerinin gerçekte neyi ölçtüğüyle ilgili. Reddetme benchmark'ları modellerin önlerindeki kanıta nasıl tepki verdiğini test ediyor; bu boşluk ise orada olmayan kanıt hakkındaki yargıyla ilgili. Yazının konumu, güvenilir çözümün modelin dışında yaşadığı — yürütmeye geçilmeden önce kanıt toplanmasını zorlayan ucuz, deterministik denetimlerde. Okuyucular, altta yatan benchmark sonuçları bağımsız olarak doğrulanabilir hale gelene kadar nicelleştirilmiş iddiaları dikkatle tartmalı.