Parsimony, yapay zekâ kodlama modellerini ekledikleri fazla kod miktarına göre sıralıyor

Yalnızca doğruluk değil, kod hacmi için bir benchmark

Hacker News'te bir Show HN gönderisiyle tanıtılan yeni açık kaynak benchmark Parsimony, çoğu değerlendirmenin göz ardı ettiği bir soruya yanıt arıyor: Hangi yapay zekâ kodlama ajanı en az kodu değiştiriyor? Projenin sitesine göre mevcut benchmark'lar çözüm oranına ve maliyete odaklanıyor ve bu puanların hiçbiri, bir modelin görevin gerektirdiğinden çok daha fazla kod yazmasını cezalandırmıyor — oysa fazla kod, bir kod tabanını uzun vadede birlikte çalışılması daha zor hâle getiriyor.

Parsimony'nin yanıtı, değişikliğin kendisinin boyutunu ölçmek.

Satır yerine sözdizimi birimlerini saymak

Benchmark hiçbir şey çalıştırmıyor. Bunun yerine, mevcut benchmark'ların zaten yayımladığı patch'leri alıyor, her birini görevin koduna uyguluyor ve değiştirilen her dosyanın iki sürümünü de ayrıştırıyor. Ardından "kodlama birimlerini" sayıyor: ifadeler, çağrılar, karşılaştırmalar, isimler ve literal'ler gibi sözdizimi öğeleri.

Satır yerine birim saymanın nedeni bilinçli bir tercih; çünkü bir model, daha az satıra daha fazla kod sıkıştırarak puanını iyileştiremez. Silinen kod toplamdan düşülüyor, dolayısıyla ana rakam net birim — eklenen eksi kaldırılan.

Liderlik tablosu, modelleri çözdükleri görevlerde eklenen ortalama net birim sayısına göre, en düşükten başlayarak sıralıyor ve bu ortalama başarısız denemeleri de kapsıyor. Çözüm durumu, SWE-bench Verified'ın yayımladığı sonuçlardan geliyor; Parsimony testleri yeniden çalıştırmıyor. Testler, dokümantasyon ve üretilen dosyalar ölçümün dışında bırakılıyor ve şu anda yalnızca Python kapsanıyor.

Rakamlar neyi gösteriyor, neyi göstermiyor

Proje sınırlarını açıkça dile getiriyor. Birim sayıları boyutu ölçer, okunabilirliği ya da tasarımı değil; dolayısıyla daha küçük bir diff otomatik olarak daha iyi bir diff değildir. Sitenin kendi örneği durumu ortaya koyuyor: bir liste içinde negatif değer aramak için bayrak ayarlayan bir döngü kullanan bir fonksiyon ile basitçe any(value < 0 for value in values) döndüren bir fonksiyon, aynı sonucu çok farklı birim sayılarıyla üretiyor.

Daha önemli bir şekilde, veri kısalık ile yetenek arasındaki bir gerilimi ortaya koyuyor. Projeye göre, daha fazla kod yazan modeller aynı zamanda daha fazla görev çözmeye eğilimli; 26 veya daha fazla model içeren liderlik tablolarında Spearman korelasyonları 0,33 ile 0,60 arasında. Tablodaki her model aynı ajan olan mini-SWE-agent üzerinden çalışıyor, ancak proje, ajan iskeletinin (scaffolding) hâlâ ne kadar kod yazıldığını etkilediğini belirtiyor — yani sonuçlar, modelin kendisini olduğu kadar model-artı-ajan eşleşmesini de yansıtıyor.

Kendi verini getir

Parsimony ayrıca başkalarını bu yaklaşımı genişletmeye davet ediyor. Başka bir benchmark'tan kod boyutu rakamlarına sahip herkes, örnek bir JSON dosyasını indirip sonuçlarını doldurabilir ve dosyayı tarayıcıda açarak aynı grafiği ve tabloyu oluşturabilir. Site, dosyanın kullanıcının tarayıcısından asla çıkmadığını belirtiyor.

Neden önemli

Yapay zekâ ajanları rutin programlamanın büyüyen bir payını üstlendikçe, makine tarafından yazılan kodun hacmi yalnızca doğruluk değil, aynı zamanda sürdürülebilirlik sorunu hâline geliyor. Büyük diff'ler inceleme zamanı maliyeti çıkarır, hatalar için yüzey alanı ekler ve kod tabanlarını, bir iş kaydı (ticket) kapandıktan çok sonra ekiplerin birlikte yaşamak zorunda kalacağı biçimlerde yeniden şekillendirir. Değişiklik boyutunu, çözüm oranı ve maliyetin yanı sıra birinci sınıf, karşılaştırılabilir bir metrik hâline getirerek Parsimony, ana akım benchmark'ların eksik olduğu bir bakış açısı sunuyor.

Dürüst uyarıları da değerinin bir parçası: eğer kısalık çözüm oranıyla çelişiyorsa ve birim sayıları tasarım kalitesi hakkında hiçbir şey söylemiyorsa, "hangi model en az kodu yazıyor" sorusu, sayılarla desteklenmiş, gerçekten faydalı bir tartışma konusu hâline geliyor.