deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

Sıfır güvenli ajan sandbox'ı trend olurken süreç izolasyonu ve prompt injection tartışması yeniden alevlendi

nolabs-ai/nono runtime'ı 5.000 GitHub yıldızını geçti; trend olan bir dev.to yazısı, işletim sistemi düzeyindeki izolasyonun dolaylı prompt injection'ı durduramadığını ve bunun yerine deterministik outbound kapıları öneriliyor.

Sıfır güvenli ajan sandbox'ı trend olurken süreç izolasyonu ve prompt injection tartışması yeniden alevlendi

Kurulum gerektirmeyen, gecikme eklemeyen ve sıfır güven (zero-trust) izolasyonu sağlayan yeni bir ajan sandbox'ı sınıfı GitHub'da trend olurken, 17 Kasım'da dev_kestrel adlı yazarın yayımladığı bir dev.to yazısı bunlardan birini ele alıyor: yazarın ifadesiyle 5.000 yıldızı geçen nolabs-ai/nono runtime'ı. Yazının merkezindeki iddia, bu izolasyon odaklı sunumun yalnızca yarısı doğru. Yazara göre süreç izolasyonu gerçek bir sorunu çözüyor; ancak üretime çıkmış ajanları asıl zorlayan hata modunu — bir dil modelinin güçlü bir aracı, işletmecisinin hiç niyet etmediği bir şekilde çağrıya ikna edilmesini — ele almıyor.

Sandbox'ın gerçekten durdurabildiği şeyler

Sandbox bir işletim sistemi sınırıdır. Ajana kısıtlı bir dosya sistemi verir, CPU ve belleği sınırlar ve onu temizlenmiş bir ortamda çalıştırır. Yazıya göre bu, SSH anahtarlarını veya bulut kimlik bilgilerini okumaya çalışan kötü niyetli bir bağımlılığa, belleği tüketen kontrolsüz bir sürece ve host sistemine sızmaya çalışan native koda karşı etkilidir. Bunlar gerçek tehditler ve izolasyon onlarla iyi başa çıkıyor.

İzolasyonun yardımcı olmayı bıraktığı yer

Yazarın belirttiği sorun şu: yararlı bir ajanın dış dünyaya dokunması beklenir. API'leri sorgular, e-posta gönderir, pull request açar ve webhook tetikler — bu yetenekler hata değil, ürünün kendisidir. Sandbox'lar bu nedenle giden ağ trafiğine izin verir; çünkü tüm çıkışı engellemek ajanı işlevsiz bırakır. İşte bu izin, dolaylı prompt injection'ın tam da yaşadığı yerdir.

Saldırı şöyle işler: ajan kontrolünde olmayan bir içerik okur — bir README, bir issue, bir web sayfası, bir e-posta — ve bu içerik talimatlar taşır; örneğin ajana önceki yönergeleri yok saymasını ve bir .env dosyasının içeriğini saldırganın kontrolündeki bir host'a göndermesini söyler. İşletim sisteminin bakış açısıyla hiçbir şey yolunda değildir ama sorun da yoktur: giden çağrı ağ kurallarına uygundur, çağrılan araç ajanın meşru olarak elinde bulunan bir araçtır ve trafik deseni normal ajan davranışına benzer. Sandbox hiç tetiklenmez.

System prompt'lar neden çözmüyor

Yazı, prompt'taki talimatların burada başarısız olmasının üç yapısal nedenini sıralıyor. Yazarın context drift dediği şey, uzun oturumlarda erken talimatların olasılıksal ağırlığını yitirmesidir. Talimat belirsizliği, 'sır sızdırma' gibi bir kuralın zorunlu bir sınır yerine tercih olarak okunmasıdır. Üçüncüsü ise bir doğrulama katmanının olmamasıdır; çünkü model talepler üzerinde akıl yürütür, politikayı zorlamaz ve işletmecisinin talimatlarını az önce taradığı metinden güvenilir bir şekilde ayırt etme imkânı yoktur. Yazarın sonucu şu: zorlama, herhangi bir ağ bağlantısı açılmadan önce çalışan, modelin muhakemesinin erişemeyeceği deterministik kodda yer almalıdır.

Önerilen çözüm: deterministik bir outbound kapısı

Yazarın tanımladığı desen, prompt yerine tipli bir politika nesnesi: izin verilen hedef hostların açık bir listesi, kimlik bilgisi veya token'a benzeyen payload'ları reddeden bir bayrak ve giden payload boyutuna sert bir üst sınır. Bir kapı sınıfı, yan etki yaratan herhangi bir araç bağlantı açmadan önce bunu zorunlu kılar; hedefi allowlist'e karşı kontrol eder, payload'ları GitHub personal access token ve JWT gibi yaygın token biçimlerini yakalamak için regular expression'larla tarar ve aşırı büyük gövdeleri reddeder.

E-posta gönderen bir aracın çevresine sarıldığında, kapı socket açılmadan önce istisna fırlatır. Yazarın vurguladığı özellik, modelin bir küme üyeliği sorgusunu tartışarak, iltifat ederek veya kandırarak farklı bir yanıt döndürtmesinin mümkün olmadığıdır.

Tek bir seçim değil, katmanlı bir yapı

Yazı, tek bir savunma seçmek yerine ajan güvenliğini dört katman olarak çerçeveliyor: işletim sistemi sınırı olarak sandbox; kod sınırı olarak outbound kapısı; çalınan bir kimlik bilgisinin tek başına işe yaramaması için anahtar bazında alıcı allowlist'leri; ve durum değiştiren eylemlerin sessizce çalıştırılmak yerine insan incelemesi için bir ticket ürettiği onay bekletmeleri. Yaklaşımı üç kural özetliyor: model çıktısını asla bir yetkilendirme kararı olarak görmeyin, denylist yerine allowlist kullanın ve yan etkilerden önce doğrulayın — mesaj çoktan gönderildikten sonra çalışan bir kontrol hiçbir şekilde kapı değildir.

Neden önemli

Ajanlar gerçek kimlik bilgileri ve özerklik kazandıkça dolaylı prompt injection pratik bir üretim riski haline geliyor ve kötü niyetli talimat, ajanın okumak için tasarlandığı kanallardan geldiği için işletim sistemi düzeyindeki izolasyona büyük ölçüde görünmez kalıyor. Bu dev.to yazısı bir çalışma değil, tek bir uygulayıcının savunusu; ancak önerdiği desen — açık allowlist'ler artı bağlantı açılmadan önce deterministik kontroller — MCP sunucularında ve ajan harness'lerinde benimsenmesi kolay. Beslediği daha geniş tartışma ise şu: sandbox runtime'larına duyulan mevcut coşku doğru tehdit modelini mi hedefliyor, yoksa ajan güvenliğinin zor kısmı bir katman yukarıda, araç sınırında mı yaşıyor?

  • #ai-agents
  • #prompt-injection
  • #security
  • #sandboxing
  • #llm

İlgili yazılar