Kodlama ajanları durmak yerine eksik bilgileri uyduruyor, arXiv çalışması ortaya koydu

Araştırmacılar ne yaptı

17 Ağustos'ta arXiv'e yüklenen ve "The Working Set of a Coding Agent: Coherence Debt in Repository-Scale Tasks" (arXiv:2608.16630) başlığını taşıyan bir makale, büyük kodlama görevlerini çok sayıda birbirine bağlı bilginin yeniden inşası olarak modelliyor. Çalışmayı özetleyen bir dev.to gönderisine göre yazarlar Bardia Mohammadi, Lars Klein, Aman Chadha, Akhil Arora ve Laurent Bindschaedler, bir ajanın yaptığı her düzenlemenin belirli bilgilere dayandığını ve her bilginin modele iki kanaldan biriyle ulaştığını savunuyor: bilgi ya güncel bağlamda yer alıyor ya da modelin ezberlenmiş bilgisi geliyor. Bu iki kanaldan hiçbiriyle ulaşmayan bilgiler, makalenin "coherence debt" (tutarlılık borcu) olarak adlandırdığı şeyi oluşturuyor. Deneyler her kanalı kasıtlı olarak sağlıyor veya kesiyor, gerekli bir bilginin hiç erişilebilir olmadığı durumda ne olduğun gözlemlemek için yedi model ve beş harness genelinde hatalar enjekte ediyorlar.

Dev.to yazarının erken bir uyarısı var: çalışmanın yalnızca özetini okumuş, tam metnini değil; dolayısıyla aşağıdaki bulgular o özette karakterize edildiği şekliyle aktarılıyor.

Ajanlar durmak yerine uyduruyor

Rahatlatıcı varsayım, gerekli bir bilgiye erişemeyen yetkin bir ajanın durup bunu söyleyeceğidir. Makale tam tersini raporluıyor: eksik bir bilgi hiç iş değil yanlış iş üretiyor; ajanlar harekete geçmeyi reddetmek yerine dosya uyduruyor veya değerleri tahmin ediyor. Bir diff içinde halüsinasyon görmüş bir fonksiyonun peşinden koşan herkes bu kalıbı tanıyacaktır, ancak bulgu bunu anekdot değil sistematik bir durum olarak çerçeveliyor.

Yedi modelde ortak bir uçurum

Araştırmacılar gerçek bir kütüphaneyi, ezberlenmiş bilginin modelleri kurtaramayacağı şekilde yeniden adlandırdığında başarısızlık kolektif hale geldi. Dev.to'da özetlendiği gibi, yedi modelin tamamı aynı yerde kırıldı, aynı testleri geçti ve aynı testlerde başarısız oldu. Farklı mimariler, ortak bir kör nokta.

Daha fazla token harcamak hiçbir şey kazandırmıyor

Makale ayrıca ekonomik bir bulgu da içeriyor: tüm testleri geçen harness konfigürasyonları token tüketiminde on kattan fazla fark gösteriyordu ve bilgiler gizlendiğinde ek harcama hiçbir şey kurtaramıyordu. Daha iyi finanse edilen çalışmalar yalnızca daha pahalı uydurmalar üretti.

Gözlemlenebilirlik araçları kör noktayı miras alıyor

En keskin pratik sonuç izlemeyle ilgili. Bir ajanın ihtiyaç duyduğu bilgiye sahip olup olmadığını doğrulamanın doğal yolu, ne okuduğunu takip etmektir: dosya açmalarını ve erişimleri kaydedin, sonra hiç açılmamış dosyalara dayanan düzenlemeleri işaretleyin. Dev.to üzerinden aktarıldığı şekliyle makalenin noktası şu: bu yaklaşım tam da en çok ihtiyaç duyulan yerde başarısız oluyor. Bir bilgiden yoksun olan ajan görünür bir boşluk bırakmıyor, çünkü boşluğu geçerken makul bir şeyle dolduruyor. Ortaya çıkan iz sağlıklı bir çalışma gibi görünüyor ve doldurulmuş bir yokluk başarıdan ayırt edilemiyor.

Yanlış sıfırların paralel bir gösterimi

Makale özetiyle birlikte dev.to yazarı kendi küçük bir gösterim de yaptı — sentetik veriye karşı, bir çalışan mühendisin yazacağı tarzda yazılmış dört hızlı sorgu. Dördü de sıfır döndürdü ve dört sıfır da yanlıştı. Aramalar gerçek sonuçları kaçırdı; sırasıyla şu nedenlerle: bir satır sonuyla bölünmüş ifade, sorgunun baktığı yerden bir dizin seviyesi yukarıda saklanmış işaretçi, eşleşmeyen metin biçimleri olarak karşılaştırılan tarihler ve bir düzeltmenin özünden değil eski ifadesinin aranması. Doğru cevaplar 1, 1, 2 ve 1 idi. Yazarın savunduğu ortak ders şu: ölçtüğünü iddia ettiği şeye hiç gerçekten dokunmamış bir araç, çalışan bir araçla aynı teselli edici sıfırı döndürüyor. Önerdikleri çare laboratuvar pratiğinden ödünç alınmış: bir sorgunun hiçbir şey bulamayacağına güvenmeden önce, bulması gereken bir şeyi gerçekten bulduğunu doğrulayan pozitif kontroller çalıştırın.

Bu sorgu alıştırması blog yazarına aittir ve arXiv makalesinin parçası değildir, ancak makalenin gözlemlenebilirlik bulgusunun neden can sıkıcı olduğunu gösteriyor: yokluğa dayalı kontroller her katmanda sessizce başarısız oluyor.

Neden önemli

Ajan güvenilirliği şu anda bu makalenin yıktığı iki dayanak üzerine yaslanıyor. İlki ölçekleme: on kat token bütçesi gizlenen bilgileri kurtaramıyorsa, ekipler halüsinasyon görmüş bağlamdan harcama yaparak kurtulamaz. İkincisi iz tabanlı izleme: ajanlar eksik bilgilerin üzerine boşluklar bırakmak yerine örterse, okuma kayıtları iyi bilgiye dayanan bir düzenlemeyi tahmin edilmiş olandan ayırt edemez. Kodlama ajanları konuşan ekiplerin çıktı düzeyinde doğrulamaya ve cehaletin görünür bir iz bıraktığını varsayan enstrümantasyon yerine pozitif kontrollere ihtiyacı olabilir. Bulgular özet düzeyinde bir özet üzerinden ikinci elden geliyor, dolayısıyla herkes gözlemlenebilirlik yığınını söküp atmadan önce tam makaleyi okumayı hak ediyor — ancak kaygının yönü açık.