LongChang benchmarkı: 12 üst düzey LLM'den 11'i anomalileri keşfetmede sıfır puan aldı

LongChang adlı benchmark, günümüzün önde gelen dil modellerine net bir soru yöneltti: Kendi kurallarını sessizce çiğneyen simüle bir dünyaya bırakıldıklarında bunu fark edecekler mi? Bohdan Hordii'nin dev.to'daki yazısına göre 12 son teknoloji modelden 11'inin cevabı hayırdı — her biri, istem yapılmadan yürütülen keşif aracılığıyla gizli anomalileri keşfetmede tam olarak %0 puan aldı ve sıfırı geçen tek model yalnızca %16,7'ye ulaştı.

Test nasıl çalışıyor

dev.to yazısına göre LongChang, her modeli fizik yasaları değiştirilmiş simüle ortamların içine yerleştiriyor; agent'a ne bir ipucu ne de önceden tanımlanmış bir hedef veriliyor. Başarı tamamen kendinden yönlendirilen meraka bağlı: Model, dünyadaki bir şeyin yanlış davrandığını fark etmeli, bir şüphe oluşturmalı ve bunu araştırmalı. Bu kurulum, sektörün yaygın bir iddiasını doğrudan sınıyor — otonom agent'ların yakında yeni bilimsel yasalar türeteceği, dağıtık sistemleri insan yönlendirmesi olmadan debug edeceği ve altyapı olaylarını kendi başına çözeceği iddiası.

Sayılar ne gösteriyor

Ana sonuç çarpıcı. On iki üst düzey modelden on biri, açık uçlu keşif yoluyla gizli anomalilerin veya değiştirilmiş yasaların hiçbirini tespit edemedi. GPT-6-Astra olarak listelenen tek istisna, %16,7'lik bir keşif oranına ulaştı ancak yerleştirilen anomalilerin çoğunu yine de incelememiş bıraktı.

Daha tanı koyucu bulgu bir katman daha derinde. Koşuların %80'inden fazlasında agent'lar, ortamdaki araçları kullanırken anormal davranışları kaydetti — tutarsızlık kayıtlarına girdi — ancak gördüklerini araştırmak yerine rutin eylemlere geri döndüler. Hordii'nin okumasına göre darboğaz bu nedenle algı değil, takip: Modeller sürprizi fark ediyor ama ardından bununla ilgili tüm hipotez testlerini bırakıyor.

Önerilen mimari çözüm

Hordii, sonucu ham model yeteneğinden çok mimariye dair bir argüman olarak çerçeveliyor. Saf ve kısıtlamasız agent döngüleri, onun görüşüne göre, bir açıklamaya yakınsamadan token ve işlem gücünü gezinerek harcıyor. Önerdiği alternatif, ortaya çıkan model merakına güvenmeyi bırakmak ve bunun yerine deterministik keşfi zorunlu kılmak — tespit edilen her tutarsızlığın, onaylamak veya reddetmek için otomatik olarak bir izolasyon çalışması tetiklediği yapılandırılmış bir hipotez grafiği. Bu tasarımda model akıl yürütme adımlarını sağlarken, çevreleyen kod da disiplini sağlıyor.

Tek kaynaklı bir uyarı

Rakamlar hakemli bir makaleden veya herkese açık bir leaderboard'dan değil, dev.to'daki bir uygulayıcının yazısından geliyor. Yazı on iki modelin tamamını adlandırmıyor veya puanlama metodolojisini ayrıntılandırmıyor; bu nedenle sonuçlar izlemeye değer ancak benchmark bağımsız olarak doğrulanabilir hale gelene kadar kesin gerçek değil, tek bir raporlanmış değerlendirme olarak ele alınmalı.

Neden önemli

LongChang'ın ortaya çıkardığını iddia ettiği uçurum, birbirinden çok farklı iki yetenek arasında: size söylenen görevleri yürütmek ile kimsenin işaret etmediği şeyi fark etmek. Üretimdeki otonomi vaatleri — kendi kendini onaran altyapı, zero-shot debugging, otomatik bilimsel keşif — ikinci yeteneğe bağlı ve bu benchmark, bunun üst düzey modellerde bile büyük ölçüde yok olduğunu gösteriyor. Mühendislik ekipleri için pratik çıkarımlar ikiye ayrılıyor: Serbest biçimli agent'ların, kendilerinden istenmeyen anomalileri güvenilir biçimde ortaya çıkaracağını varsaymayın ve takip davranışını iskelet kodun içine inşa etmeyi düşünün — bir delta ortaya çıktığında araştırmayı zorunlu kılan deterministik kontrollerle — modelin kendi başına geri döneceğine güvenmek yerine. Benchmark, kopyalamaya değer ucuz bir eval kalıbı da sunuyor: sandbox'lanmış bir ortama bir hata enjekte edin ve agent'ınızın bunu fark edip etmediğini, izole edip etmediğini ve açıkladığını ölçün.