deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak Hacker News – Front Page (native)

27.280 çalıştırmalı coding agent karşılaştırması, çıkarım harcamasının %64'ünün başarısız denemelere gittiğini ortaya koydu

RUNTA'nın FrontierHarness Eval v1.1'i 27.280 coding agent denemesi çalıştırdı ve çıkarım harcamasının %64'ünün başarısız denemelere gittiğini, buna karşılık en ucuz harness'in test edilen her modelle değiştiğini buldu.

27.280 çalıştırmalı coding agent karşılaştırması, çıkarım harcamasının %64'ünün başarısız denemelere gittiğini ortaya koydu

Neler ölçüldü

RUNTA, Baseten ile birlikte çalışarak, 27.280 agent çalıştırması boyunca 83 milyar token tüketen büyük ölçekli bir coding agent karşılaştırması olan FrontierHarness Eval v1.1'i yayımladı. Çalışma, 22 harness yapılandırmasını — DeepSeek Harness dört profilde, OpenCode ise iki sürümde sayılarak 18 harness — 62 terminal görevinde beş modelle, her birleşim için dört deneme olacak şekilde çaprazladı. Bu, tek bir model olan Kimi K3 üzerinde dokuz harness'ı test eden v1.0'ın 76 katı bir ölçek. Beş model GLM-5.3, GLM-5.3 Flash, DeepSeek V4.1 Flash 1017, Muse ve Kimi K3 idi ve hepsi Baseten tarafından sunuldu.

Her harness varsayılan ayarlarıyla, Harbor değerlendirme çerçevesi altında maksimum akıl yürütme çabasıyla çalıştı ve her deneme taze, tek kullanımlık bir runtime aldı; böylece hiçbir deneme bir öncekinin dosyalarını göremedi. Görev süre limitleri 15 dakikadan sekiz saate kadar uzanıyordu. Deneme günlüklerinin denetimi 216 denemeyi reward hacking nedeniyle işaretledi; bunların 163'ü çevrimiçi aramalardı ve bu denemelere sıfır puan verildi.

Raporun Hacker News başlığı en keskin sayıyı taşıyor: 27.280 çalıştırmadaki çıkarım harcamasının %64'ü başarısız olan çalıştırmalara gitti.

Faturayı model belirliyor, harness oynuyor

RUNTA'nın görev başına ortalama maliyet üzerindeki varyans analizine göre yayılımın %92,8'ini model, %2,3'ünü harness ve %4,9'unu harness-model etkileşimi açıklıyor — modellerin liste fiyatları 20 kat veya daha fazla fark gösterdiğine göre bu şaşırtıcı değil. Ancak modeli sabit tutunca harness yine de önemli: Görev başına ortalama maliyet, eşleşmeye göre 1,8 ile 5,0 katı arasında değişti. Denemeleri harness'lar arasında 300 kez karıştırması yalnızca 1,2 ile 1,8 arası şans oranları üretti ve her gerçek oran tüm karıştırılmış olanları aştı (p = 0,003); dolayısıyla yayılım harness'lardan geliyor, yeniden çalıştırma gürültüsünden değil. En geniş fark DeepSeek'teydi; Cline CLI, pass oranında 2,0 puan daha fazla için OpenCode v1'in 5,0 katı kadara mal oldu.

Model değiştirince sıralamalar çöküyor

Bir model için en ucuz harness, sıklıkla başka bir model için ortalama bir konumda kalıyor. Medyan harness, maliyet sıralamasında modeller arasında 22 sıranın 11'ini kaydırdı; Codex CLI, GLM-5.3 ile görev başına maliyette 1. sıradan Kimi K3 ile 16. sıraya düştü ve DeepSeek Harness'ın Creator profili, Muse ile 1. sıradan GLM Flash ile 21. sıraya geriledi. Yarıya bölme kontrolleri bunun gürültü değil sinyal olduğunu gösteriyor: Sıra korelasyonları bir model içinde 0,71, modeller arasında ise yalnızca 0,26 idi.

RUNTA'nın model başına en iyi fiyat-performans seçimi (pass başına en düşük maliyet, en az 5 puan fazlası için %30'a kadar daha yüksek maliyete izin veren bir eşitlik bozucuyla) GLM-5.3 ile Codex CLI, GLM-5.3 Flash ile Pi, DeepSeek ile ZCode, Muse ile Oh My Pi ve Kimi K3 ile Alma oldu. 62 görevi 4.000 kez yeniden çizen bir bootstrap, Codex CLI'ı GLM-5.3 ile çizimlerin %99,6'sında ilk sırada tuttu; diğer dört kazanan çok daha az kesindi: %53, %47, %42 ve %25.

Daha fazla ödemek pass satın almıyor

Tüm modeller genelinde yalnızca dört harness verimlilik sınırında yer aldı; hiçbir başka harness onları hem maliyet hem pass oranında geçemedi: OpenCode v2 (görev başına en düşük maliyet, 0,561 $), Pi, Codex CLI ve ZCode (en yüksek pass oranı, %61,9). Diğer her harness 1,6 kata kadar daha yüksek maliyete mal olurken görevlerin %50,6 ile %60,2'sini geçti. En yüksek pass oranlı harness, görev başına maliyette 22 harness arasında 5. ile 20. sıralar arasında yer aldı ve beş modelin dördünde, pass başına en pahalı harness aslında en ucuz olanlardan daha az sıklıkta geçti. Görev başına maliyet ile pass oranı arasındaki korelasyonlar -0,39 ile +0,22 arasında değişti. Tüm modeller genelinde pass başına maliyette en ucuz 0,937 $ ile Codex CLI, en pahalı ise 1,63 $ ile Antigravity CLI oldu.

RUNTA ayrıca daha basit harness'ların daha ucuz olup olmadığını da kontrol etti. Prompt boyutu, araç sayısı ve cache isabet oranı ana maliyet belirleyicileri değildi; agent yörüngesindeki adım sayısıydı.

Neden önemli

Coding agent çalıştıran ekipler için eyleme geçirilebilir bulgu, yalnızca modeli değil çifti kıyaslamak. Aynı harness'ı koruyarak modeli değiştirmek çıkarım faturalarını sessizce katlayabilir, çünkü bir modelle ucuz olan bir harness başka bir modelle birkaç kat daha pahalı olabilir. Daha ağır bir harness'a para harcamak da bir kestirme yol değil, çünkü çalışma harcama ile pass oranı arasında tutarlı bir bağlantı bulamadı. Ve bu pass oranlarıyla çıkarım dolarlarının kabaca üçte ikisi başarısız çalıştırmalara giderken, çözülmüş bir sorunun gerçekte neye mal olduğunu yansıtan sayı görev başına maliyet değil, pass başına maliyettir. Uyarılar gerçek: tek bir laboratuvar kurulumu, varsayılan ayarlar, 62 görev, beş model ve bootstrap'ın istatistiksel olarak yakın gösterdiği birkaç kazanan eşleşme.

  • #benchmarks
  • #coding-agents
  • #llm
  • #cost-optimization
  • #evaluation

İlgili yazılar