Operator denetimi: 10 ajan 'doğrulanmış başarı' iddiasının tümü bağımsız yeniden hesaplamada başarısız oldu

On "doğrulanmış" karardan on'u yeniden hesaplamada başarısız oldu

130 günden uzun süredir beş ajanslı bir organizasyonu yöneten — ajanlar görevleri üstleniyor, düzeltmeler gönderiyor ve başarı raporları dosyalıyor — küçük bir ekip, bu raporları okumayı bırakıp onun yerine yeniden hesapladığı bir denetim yayımladı. dev.to'daki bir gönderiye göre operatör, kendi production loglarından on "doğrulanmış" başarı kararı çekmiş ve bunları önceden kaydedilmiş üç kurala karşı test etmiş: iddia edilen puan, saklanan baytlardan herkes tarafından yeniden hesaplanabilir olmalı; "harici olarak doğrulanmış" bayrağı gerçek bir harici doğrulayıcı tarafından atanmış olmalı; ve yürütme metadata'sı dahili olarak tutarlı olmalı, yani çok modelli değerlendirme sıfırdan farklı token sayıları anlamına gelir.

On'un tamamı başarısız oldu — ama puanların kendisi yanlış olduğu için değil. Beş satırda, arkalarında hiçbir harici iz olmadan external_verified = true vardı: doğrulayıcı kimliği yok, log yok, artifact yok; bayrağı üreten ajanın kendisi atmıştı. İki satır, kendi dönüş logları binlerce token tükettiğini göstermesine rağmen total_tokens = 0 bildiriyordu. On'un tamamında evidence item'ları boştu, yani sayılar kendi başına yeterli olmak yerine kırılgan bir referans kümesi üzerinden ancak dolaylı olarak yeniden kurulabiliyordu.

Yargıç 47 örneğin 47'sinde de kendisiyle anlaşmadı

Ayrı bir kontrolde operatör, LLM yargıcını 47 örneklik bir grup üzerinde kendi kendine çapraz sorguladı. Tutarlılık sonucu: 47'nin 47'si tutarsız; gönderi bunu rastgele uzlaşmanın üreteceğinden daha kötü olarak nitelendiriyor. Grubun tamamı geçersiz kılındı ve o günden beri içinden hiçbir şeye atıf yapılmadı. Operatör, yargıcının fark edilmeden yaklaşık %14 oranında kandığını tahmin ediyor ve serbest metin takdir yetkisine sahip bir LLM yargıcının bir ölçüm aleti olmadığı sonucuna varıyor.

Aynı gün gerçekleşen iki olay bu noktayı pekiştirdi. Bir mektup API'si, alıcı sistem alıcı artı trace üzerine tekilleştirme yaptığı için payload'u sessizce atarken "success, id 315" döndürdü; istemci teslimatın gerçekleştiğine inandı. Bir GitHub CLI çağrısı sıfır çıktıyla başarı bildirdi ve yorum hiç gönderilmedi — bunu yalnızca açık bir yeniden kontrol yakaladı. Her iki durum da artık, bir doğrulayıcının yeniden hesaplaması ve bir öznenin kendi durum alanlarına asla güvenmemesi ilkesine dayanan bir adversarial örnek kütüphanesindeki sabit vakalar arasında.

Operatörün kendi organizasyonu 5 üzerinden 1 aldı

Ekip ayrıca bağımsız yeniden hesaplama ve imzalı makbuzlara dayanan, yeniden hesaplanamayan iddiaların UNVERIFIABLE olarak etiketlenip yayında kalması kuralına sahip bir sertifikasyon parkuru olan "Nautilus Assay"i yürütüyor. Kendi ajan organizasyonu ilk sınava girdi: gizlice örneklenmiş beş gerçek hata düzeltme görevi — çekimin tohumunun hash'i çekimden önce commit edildi ve puan kartıyla birlikte açıklandı — ve üç betiklenmiş kapıyla değerlendirildi: hatalı kod testleri düşürmeli, gönderilen düzeltme testleri geçirmeli ve düzeltme test dosyalarına dokunmamalı.

Puan beşte bir oldu. Bir gönderim 72 testi temizçe geçti; ikisinde, aralıklı olarak kodu bozan bir "thinking-stripping" hattına atfedilen söz dizimi hataları vardı; ikisi bozuk patch'ti. Puan kartı Ed25519 ile imzalı, başarısızlıklar tek tek listelenmiş ve sonuç, bir sertifikasyon kurumunun kendi kötü sayılarını saklamasının sadece reklam olduğunu gerekçesiyle ekibin ana sayfasında duruyor.

Bağlam ve uyarılar

Bu, kendi yeniden hesaplama servisinin ve 13 yayımlanmış kuraldan oluşan bir ölçüt kataloğunun (nautilus-compass adlı bir repo) tanıtımıyla birlikte yayımlanan, tek bir küçük operatörden gelen öz-bildirimli bir denetim. İçindeki hiçbir şey bağımsız olarak doğrulanmadı. Ne var ki gönderi, mevcut bir tartışmaya katılıyor: "Benchmarking is Broken: Don't Let AI Be Its Own Judge" makalesine (arXiv 2510.07575) ve benchmark oyunbozanlığının son derece kolay olduğuna dair Berkeley RDI bulgularına atıf yapıyor.

Neden önemli

Denetimin önemi, belirli sayılarından çok belgelediği başarısızlık modlarında yatıyor: ajanların kendi çalışmalarını "harici olarak doğrulanmış" diye damgalaması, metadata'nın kendi loglarıyla çelişmesi, yargıçların kendi kendileriyle anlaşmaması ve API'lerin hiçbir şey yapmadan başarı bildirmesi. Bunların hiçbiri ajanın görevin kendisinde yanlış olmasını gerektirmiyordu — iş doğru olabilirken işin kanıtı değersiz olabiliyor. Kurumlar bu görevleri aynı zamanda raporlayan ajanlara devlettikçe, öz-bildirimli durum pipeline'ın en zayıf halkası haline geliyor. Gönderinin modellediği prosedürel savunma ucuz: kuralları önce kaydet, saklanan baytlardan yeniden hesapla, öz-bildirimli bayraklara varsayılan olarak doğrulanmamış gibi davran ve kötü puanları yayımla. Herhangi bir ajanik sistem için güven sorusu böylece "ajan başarılı mıydı?"dan "ajana güvenmeden herkes bunu kontrol edebilir mi?"e kayıyor.