GVS5H projesi, beş Qwen3.8-27B örneğinin Claude Fable 5 ile LiveCodeBench Hard'da eşit seviyede olduğunu iddia ediyor

Beş modellik bir harness, frontier seviyesine eşitlik iddia ediyor

25 Ekim'de Hacker News'in ana sayfasına ulaşan bir benchmark projesi, açık ağırlıklı modellerin hiçbir yeniden eğitim olmadan frontier kodlama doğruluğuna taşınabileceğini savunuyor. GitHub kullanıcısı slee-persis tarafından yayımlanan GVS5H deposu — adı "Gorilla vs. 5 Humans" olarak açılıyor — beş koordineli Qwen3.8-27B örneğinin, LiveCodeBench'in zor katmanında Claude Fable 5 olarak tanımladığı modelle eşit sonuçlar elde ettiğini iddia ediyor. Öne sürdüğü şey: API üzerinden kabaca beşte bir fiyata frontier seviyesinde kodlama ya da ağırlıkların yerel olarak sunulduğu tek bir GPU üzerinde çalıştırma.

Eğitim gerektirmeyen self-orchestration

Eşlik eden makale tekniği "ledger-based zero-shot self-orchestration" (defter tabanlı zero-shot kendi kendini orkestreleme) olarak tanımlıyor. Bu yöntem fine-tuning gerektirmiyor: aynı modelin taze örnekleri bir programlama problemini parçalara ayırıyor ve çalışan planı, çalışma notlarını ve çözümün en güncel halini içeren paylaşımlı dosya kümesini okuyup yazarak koordinasyon sağlıyor. Makalenin özetine göre, transkript analizi puan artışını, altta yatan modelde herhangi bir değişikliğe değil, problem ayrıştırmasına ve kalıcı paylaşılan bağlama bağlıyor.

Bildirilen sayılar

Proje, on bir açık ve kapalı ağırlıklı modeli LiveCodeBench'in en son 100 zor problemi üzerinde değerlendirdi ve tek çağrılı temel durumu ile sabitlenmiş inference backend'lerinde orkestre edilmiş çalıştırmaları karşılaştırdı. Öne çıkan iki sonuç dikkat çekiyor:

• Orkestre edilmiş Qwen3.8 Flash Next, yüzde 93.0 pass@1'e ulaştı; Fable 5 için bu oran yüzde 90.4'tü ve maliyetin yüzde 9'uyla elde edildi.
• Yerel olarak sunulan, açık ağırlıklı Qwen3.8-27B, tek çağrıda yüzde 66.8 iken orkestrasyon altında yüzde 92.4'e yükseldi — toplam artışlar 25.6 puana kadar ulaşıyor.

Depo, uv üzerine inşa edilmiş çalıştırılabilir bir harness ile geliyor. --engine single bayrağı tek çağrılı temel durumu yeniden üretiyor; --engine multiagent orkestre eden yöneticiyi çalıştırıyor. Modeller her çalıştırmada OpenAI, Anthropic, DashScope veya OpenRouter üzerinden, her birinin kendi API anahtarıyla seçiliyor. Pass@1 bir çalıştırmanın sonunda ekrana yazdırılıyor, sonuçlar runs/results.json dosyasına yazılıyor ve problem başına çalışma alanları diskte saklanıyor. Kod MIT lisanslı; makale, şekiller ve çalıştırma verileri CC BY 4.0 altında yayımlandı.

Yazarların kendilerinin belirttiği uyarılar

Makale, kazanımların evrensel olmadığını açıkça ortaya koyuyor: on bir modelden bazıları orkestrasyon altında değişmedi ya da daha kötü performans gösterdi. Sonuçlardaki bir satır olan Opus 5, iskeletin daha önceki bir revizyonu altında çalıştı ve sabitlenmiş bir backend üzerinde beş örnek çalıştırmak yerine OpenRouter üzerinden tek bir geçiş yaptı; dolayısıyla bu karşılaştırma birebir değil. Tüm rakamlar ayrıca kendi kendine bildirilmiş durumda ve tek bir benchmark'tan — LiveCodeBench Hard, 100 problem — geliyor; bağımsız tekrarlama henüz gösterilmiş değil.

Neden önemli

Sayılar tekrarlanabilirlik altında doğrulanırsa, proje AI kodlama araçlarındaki köklü bir ödünleşimi yeniden çerçeveliyor. Kodlama agent'ları genellikle en büyük tescilli modeller üzerine inşa edilir; maliyet ve verinin bulunduğu yer bir API sağlayıcısına bağlıdır. 27 milyar parametrelik bir açık modeli zor bir benchmark'ta yüksek 60'lardan düşük 90'lara taşıyan, eğitim gerektirmeyen bir orkestrasyon katmanı, inference zamanındaki organizasyonun — model örneklerinin nasıl koordine edildiğinin — ham model ölçeği kadar önemli olabileceğine işaret ediyor. Araç geliştiricileri için bu iki yol açıyor: kabaca onda bir API maliyetiyle frontier'e yakın doğruluk ya da bunun getirdiği gizlilik ve kontrolle tamamen kendi sunucunuzda barındırılan kodlama agent'ları. Uyarılar gerçek — modeller arasında karışık sonuçlar, tutarsız bir temel durum ve tek bir benchmark — ancak MIT lisanslı kod ve yayımlanmış çalıştırma verileriyle bu iddia en azından denetlenebilir şekilde ortaya konmuş durumda.