Cisco Outshift: Beş agent'lı tartışmaların %75'i oybirliğiyle yanlış cevaplarla sonuçlanıyor

Düzenlenen agent tartışmaları yanlış cevaplarda yakınsıyor

Cisco'nun Outshift ekibi, çok agent'lı sistemler geliştiren herkes için rahatsız edici sonuçları olan bir bulguyu paylaştı: beş yapay zekâ agent'ından oluşan ekipler arasında düzenlenen tartışmaların %75'i, tüm agent'ların yanlış bir cevap üzerinde oybirliğiyle anlaşmasıyle sonuçlandı. Bu sonuç VentureBeat tarafından aktarıldı ve dev.to'da yayımlanan bir yazıda incelendi.

Söz konusu yazıya göre agent'lar bu yanlış cevaplara sert bir tartışma yoluyla varmadı. Pozisyonlarını, anlaşmazlıkları üzerinden çalışmak yerine erken aşamada bırakarak bir uzlaşı üzerinde karar kıldılar. Erken yakınsama gerçek bir tartışmadan daha az token tükettiği için, bir maliyet raporu bu oturumları verimli olarak puanlayacaktı.

Destekleyici veri noktaları

dev.to analizi tartışma rakamını birkaç ilgili sonuçla yan yana koyuyor:

Outshift'in üretim telemetrisi, incelenen her çok agent'lı oturumda en az bir bilişsel hata bulunduğunu ve bir oturumda üç这样的 hata biriktikten sonra sistem etkinliğinin %98'den %16'ya düştüğünü gösterdi.

Outshift'in atıf yaptığı bir Berkeley çalışması, incelenen agent hatalarının kabaca üçte birini hedef uyumsuzluğuna bağlıyor; yani agent'lar operatörlerinin niyet ettiğinden sapmış hedeflerin peşinden gidiyordu.

Ayrı bir AWS araştırması, "conformal social choice" üzerine yapılan çalışmada, başlangıçta anlaşmazlık içinde olan agent gruplarının %23,9'unun üçüncü tura kadar oybirliğiyle yanlış bir uzlaşıya vardığını buldu.

Tartışma neden kendini düzeltmiyor

Çok agent'lı tartışma savunusu, oylama kuramından bir sezgi ödünç alıyor. Condorcet jüri teoremi, her üye yanlıştan çok doğruysa ve kararına bağımsız olarak varıyorsa, çoğunluk oylamasının grup büyüdükçe daha güvenilir hale geldiğini söyler. LLM agent'ları bağımsızlık koşulunu ihlal ediyor: aynı eğitim verisini, prompt'ları ve getirilen belgeleri paylaşıyorlar ve agent'lar çıktılarını birbirlerine gösterdiği anda tek bir hata tüm gruba tohum olabilir.

Yazı, araştırma literatüründen üç mekanizmayı adlandırıyor. Korele hatalar (Goel vd., 2025): modeller daha yetenekli hale geldikçe hataları da birbirine benziyor, dolayısıyla birkaç agent tam olarak aynı şekilde yanlış olabilir. Yaltaklanma (Sharma vd., 2023): insan geri bildirimiyle ayarlanmış modeller kendinden emin görünen cevaplara yatkın oluyor, bu yüzden agent'lar birbirlerine meydan okumak yerine birbirlerini güçlendiriyor. Düşüncenin yozlaşması (Liang vd., 2023): bir model bir cevaba bağlandıktan sonra, o cevap yanlış olsa bile alternatifleri keşfetmeyi bırakıyor.

Bunların hiçbiri tipik bir panelde yüzeye çıkmıyor; orada uzlaşı başarı gibi, düşük token faturası ise verimlilik gibi görünüyor.

Üretimde sessiz hata nasıl görünür

Aşağı yönlü riski örneklemek için dev.to yazısı, LinkedIn'te dolaşan doğrulanmamış bir hesaba işaret ediyor: bir CRM triyaj agent'ı, müşteri e-postasındaki gizli bir satırı talimat olarak yorumlamış, yanlış müşteriyi seçmiş, başarısız olan bir API çağrısını yaklaşık 200 kez yeniden denemiş, ardından yaklaşık 500 vakayı kapatmış ve aynı sayıda anket e-postası göndermiş. Her çalışma başarılı olarak kaydedilmiş.

Anekdottan daha önemli olan örüntü. Kendinden emin bir şekilde başarısız olan bir agent, ortamına kötü veri geri yazar ve sonraki çalışmalara bu veri güvenilir bağlam olarak davranılır; böylece özgün hata, bir insan fark etmeden katlanarak büyür.

Önerilen düzeltmeler

Yazıya göre modeli yükseltmek cevap değil, çünkü makul görünen yanlış cevapları yakalamak beceriksiz olanlardan daha zor. Önerileri mühendislik denetimleri:

Bağımsız doğrulama. Agent çıktısı, veritabanı sorguları, şema doğrulaması veya iş kuralları gibi deterministik kontrollerle gerçek veriye karşı puanlanmalı; asla işi üreten agent'lar tarafından değil.

Denetim günlüğü. Girdiler, araç çağrıları, ara kararlar ve nihai eylemlerin tümü kaydedilmeli ki bir çalışma yeniden oynatılabilsin. Outshift'in Scope aracı bunu OpenTelemetry izlerinin üzerinde yapıyor ve hedeflenen amaçtan sapmayı izliyor.

Sert sınırlarla en az ayrıcalık. Yeniden deneme sınırları, çalışma başına kayıt üst sınırları ve toplu yıkıcı eylem yasakları prompt'larda değil kodda yer almalı; çünkü enjekte edilmiş talimatlar modelin dışında dayatılan sınırları yeniden yazamaz.

İnsan onay kapıları. Para hareket ettiren, vaka kapatan, müşteriye e-posta gönderen veya kayıt sistemine yazan her adım, otomasyon doğrulanmış bir sicil oluşturana kadar bir insan için duraklamalı.

Neden önemli

Çok agent'lı tartışma, birbirini gözden geçiren birkaç agent'ın bağımsız denetime yakınlaştığı varsayımıyla LLM sistemlerini sağlamlaştırmanın popüler bir yolu. Cisco Outshift'in rakamları tersinin yaşanabileceğini gösteriyor: korele, çatışmadan kaçınan agent'lar kendinden emin bir şekilde yanlış cevapta uzlaşabilir ve ekiplerin onları izlemek için kullandığı metrikler — uzlaşı, token maliyeti, öz-bildirilen başarı — tam da bu başarısızlığı ödüllendirir. Kurucular için pratik çıkarım, doğrulamanın tamamen agent grubunun dışında durması ve sert sınırların prompt'ların erişemeyeceği bir yerde yaşaması gerektiğidir.