· kaynak dev.to (home feed)
DeepStress, alıntılanan kanıt bozulduğunda bile retrieval ajanlarının aşırı kendinden emin kaldığını ortaya koyuyor
DeepStress benchmark'ını ele alan bir dev.to yazısı, arama ajanlarının alıntılanan kaynaklar açık düşük güvenilirlik sinyalleri taşısa bile kendinden emin yanıtlar vermeye devam ettiğini, Search-R1'in ise yüzde 78-80 doğrulukta sabit kaldığını bildiriyor.

Kanıtı bozan bir benchmark
Retrieval-augmented ajanların değerlendirilmelerinin çoğu sessiz bir varsayıma dayanır: retriever'ın geri verdiği belgeler ya doğrudur ya da en azından makul ölçüde yararlıdır. dev.to'daki bir yazıya göre "DeepStress: Stress-Testing Deep Search Agents" başlıklı makalede tanıtılan DeepStress benchmark'ı bu varsaymayı bir kenara bırakıyor. Kaynak belgeleri ölçekli biçimde kasıtlı olarak bozuyor ve kanıt tablosu bozuldukça ajanların ne yaptığını ölçüyor. Yazıya göre bu başarısızlık modu standart benchmark'lara görünmezdir; çünkü onlar temiz retrieval'e karşı doğru-yanlış yanıtları puanlar ve bir ajanın alıntıladığı materyal hatalarla doluyken nasıl davrandığını hiç sorgulamaz.
Sıfır güvenilirlikli kaynaklardan kendinden emin yanıtlar
Merkezi bulgu oldukça net. Retrieval katmanı tamamen güvenilmez olarak açıkça etiketlenmiş belgeler geri verse bile, test edilen her sistem birçok denemede çekimser kalmak yerine kesin bir yanıt üretti. Yazıda alıntılandığı şekliyle makalenin yazarları, bu belgelerdeki düşük güvenilirlik sinyallerini karikatürize edecek düzeyde açıklayıcı olarak tanımlıyor. Uyarılar bir güvenilirlik bayrağı olabileceği kadar barizdi ve ajanlar yine de yanıt verdi.
Sabit doğruluk, sabit çekimserlik
Doğruluk rakamları da aynı derecede dikkat çekici. Search-R1, güvenilirlik yelpazesinin tamamında yüzde 78 ile 80 arasında doğru kaldı ve çekimser kalma oranında hiçbir noktada belirgin bir değişim görülmedi. Başka bir deyişle, ajan kaynakları sağlam göründüğünde de çöp olarak işaretlendiğinde de büyük ölçüde aynı şekilde davrandı. Bu durum düz bir yetersizlikten ziyade bir kalibrasyon sorununa işaret ediyor: gürültülü retrieval altında model daha fazla yanlış yapmıyor, sadece hiç şüphe sinyali vermiyor.
Sonuçların sınıra ulaştığı yer
Yazı kapsam konusunda özenli. DeepStress, HotpotQA ve BrowseComp-Plus olmak üzere iki veri seti üzerinde sentetik bozulmaları değerlendiriyor ve yalnızca nihai yanıt güvenilirliğine bakıyor, ara adımlardaki belirsizlik sinyallerine değil. Doğal gürültüyü, daha büyük model ailelerini, alternatif prompting stratejilerini veya memory-augmented routing'i test etmiyor. Yazarın da kabul ettiği gibi, aynı kırılganlığın farklı tekniklerle inşa edilmiş üretim asistanlarında ortaya çıkacağı iddiası için henüz bir dayanak yok.
Neden önemli
Alıntılar ajan yanıtları için fiili güven mekanizması haline geldi: asistan kaynaklarını gösteriyorsa kullanıcılar yanıtı doğrulanmış olarak kabul ediyor. Bu araştırma, alıntının varsayılandan daha az iş yaptığını gösteriyor; çünkü bir ajan, değersiz olduğu kendisine söylenen belgeleri alıntılayabiliyor ve yine tam bir güvenle konuşabiliyor. Ajan kaynaklı yanıtları tüketen ya da ajanları ne zaman susmanın önemli olduğu ortamlarda konuşlandıran herkes, sıradan leaderboard'ların hiç ölçmediği bir davranışa güveniyor.
Yazı iki somut öneriyle kapanıyor. Güvenlik pipeline'ları, retrieval ile gelen kanıt asgari bir güven eşiğinin altına düştüğünde ajanları çekimser kalmaya zorlayan bir güvenilirlik filtresini dayatmalı. Ve benchmark'lar, standart bir sağlamlık kontrolü olarak DeepStress tarzı stres testlerini benimsemeli. Doğru yanıtlamak ile ne zaman yanıt vermemeyi bilmek arasındaki boşluk, üretim sistemlerinin var olup olmadığı tam da o boşluktur ve şu anda büyük ölçüde test edilmemiş durumda.
- #ai-agents
- #llm
- #benchmarks
- #retrieval-augmented-generation
- #evaluation
İlgili yazılar
- 27.280 çalıştırmalı coding agent karşılaştırması, çıkarım harcamasının %64'ünün başarısız denemelere gittiğini ortaya koydu
- Microsoft, MAI Cyber 2 Flash'ın güvenlik görevlerinde GPT-6 Astra'yı maliyetin yüzde 2'sinin altında yendiğini iddia ediyor
- CloudSEK ve NorForge raporları, saldırganların açık kaynak yapay zeka agent'larını gerçek saldırılarda kullandığını ortaya koyuyor