Bir dosya aktarımlı workflow ile beş Qwen 27B agent, LiveCodeBench Hard alt kümesinde Fable 5'i geride bıraktı

Ne oldu

Memdoor adlı bir GitHub projesi, beş Qwen3.8-27B modelinin — bir planner, iki ideator, bir solver ve bir manager, artı bir tamirci — diskteki dosyaları birbirine geçirerek işbirliği yaptığı, rekabetçi programlama için bir multi-agent workflow yayınladı. Projenin README'sine göre workflow, beş Qwen3.8-27B modelinin LiveCodeBench Hard üzerinde bir frontier modelle eşleştiği GVS5H yöntemini (Lee, 2026) yeniden uyguluyor.

Makale yazarlarının tam prompt'ları ve döngüsüyle yeniden inşa edilen Memdoor sürümü, ilk on LiveCodeBench Hard problemi üzerinde beş geçişte ortalama 10 üzerinden 9,8 puan aldı; aynı modelle yazarların kendi harness'i 9,6, problem başına tek çağrılan Fable 5 ise 8,0 aldı. README, workflow dosyalarını yöntemin açıklamasından bir yapay zekâ kodlayıcısının yazdığını ekliyor; kimse elle yazmamış.

Ekip nasıl çalışıyor

Pipeline plan, paralel iki ideator, solve, test, review, repair ve verify adımlarını çalıştırıyor. Her agent boş bir context ile başlıyor ve sohbet geçmişi yerine dosyalardan çalışması söyleniyor. Planner görevi okuyup bir plan ve her ideator için bir anchor içeren bir notes.md defteri yazıyor; ideator A en doğrudan kanıtlanabilir algoritmayı önermek zorunda, ideator B ise farklı bir teknik ailesinden bir tane. Solver öneriler arasından seçim yapıp kararı deftere kaydediyor ve solution.py dosyasını yazıyor. Bir komut adımı örnek testleri çalıştırıp çıktıyı kaydediyor; manager bu kaydedilmiş çıktıyı inceliyor — bir modelin bu konudaki iddiasını değil — ve ya tamir edilecek bir şey bulmuyor ya da talimat bırakıyor. Son bir verify adımı örnekleri yeniden çalıştırıyor ve sıfırdan farklı bir çıkış kodunda koşuyu başarısız sayıyor.

Tek bir tamir turu var ve insan onayı yok. Başarıya bir shell script karar veriyor, asla bir model değil. README, makaleyi izleyerek kazanımı disiplinli defter tutumuna bağlıyor. Her adım, ne okuyup ne yazacağını bildiren tek bir YAML dosyası ve mario adlı bir motor tarafından çalıştırılıyor; adımlar hiçbir model adı içermiyor — sabitlenmiş herhangi bir endpoint çalışıyor, yerel olanlar dahil.

Makalenin harness'i yeniden inşa ediliyor

Bir eşitlik testi, hem yazarların özgün solver'ını hem de Memdoor workflow'unu betiklenmiş bir modele karşı yeniden oynatıyor ve her isteği karşılaştırıyor; README dört vaka bildiriyor, hepsi özdeş, tek karakterlik bir değişiklik bile eşleşmeyi bozuyor. Örnekleme ayarları makaleyle aynı: planlama için 0,3, ideasyon için 0,4, manager ve worker için 0,2 sıcaklık; top_p 0,95; top_k 20; 128K yanıt sınırı ve en fazla on tur.

Sunucu tarafı farklı — yazarlar modeli kendi vLLM'lerinde FP8 olarak sunmuştu, yeniden inşa ise OpenRouter üzerinden FP8 sağlayıcılarla yapıldı. Bir uyuşmazlık daha önemliydi: ilk sürüm her problemi kendi görev dosyasına sarmıştı ve 27B model bundan daha kötü planladı; bir problemde, tam LiveCodeBench metni kullanıldığında plan 2'nin 0'ından 2'nin 2'sine çıktı. Workflow, yazarların harness'inin sorduğu şeyi tam olarak sorabilmesi için dört motor değişikliği gerekti.

Sonuçlar, maliyet ve kaybedildiği yer

50 koşunun 49'u sorununu çözdü ve 50'nin tamamı her istek ve yanıt, grader çıktısı, çağrı başına maliyet, sunucu ve elenmiş denemelerle yayınlandı. Koşular toplam 35,79 dolara mal oldu — 15,3 milyon çıktı token'ı — ya da bir saat cetveliyle kesilen ve bir düzeltme için durdurulan on altı deneme sayılırsa 38,77 dolar. Medyan bir koşu 40 dakika model süresi ve 0,39 dolar tuttu.

Tek başarısızlık teşhis edilmiş: manager yanlış bir beklenen cevapla uydurma bir karşı örnek üretmiş ve ekip, doğru bir programı, o durumu kapsamayan örneklerden yine geçen bir programa dönüştürmüş. Diğer iki koşuda gizli her testi geçen bir program, manager bitirildiğini beyan edemediği için üzerine yazılmış; her ikisi de döngü bitmeden kurtarıldı, 3,44 ve 4,24 dolarla, en pahalı iki koşu. README, her iki başarısızlık modunun da yöntemi değiştirmeden düzeltülebilir olduğunu savunuyor — küçük girdilerde karşı örneği brute force ile doğrulamak, örnekleri geçen son programı tutmak — ve yayınlanan rakamlarda iki düzeltme de yok.

Uyarılar

Değerlendirme on problem ve her birinde beş geçişi kapsıyor, makalenin yüzünü değil. Yarışmalar 29 Mart ile 6 Nisan 2025 arasına ait, dolayısıyla eğitim verisinden bulaşma dışlanamıyor. Fable 5'in 8,0'ı, yazarların kendi yeniden puanlanmış sonuç dosyalarından geliyor ve problem başına tek çağrı olarak alındı; bu harness içinde çalıştırılmadı.

Neden önemli

Bu, agentic coding için küçük, denetlenebilir bir veri noktası: mütevazı bir açık ağırlıklı model, hakemi bir script olan dosya aktarımlı bir takım olarak düzenlendiğinde, her koşusu yayınlanmış ve iddiası denetlenebilir olduğu hâlde, zorlu bir benchmark alt kümesinde bir frontier modelin tek çağrılık puanını geçti. Başarısızlık analizi puan kadar faydalı — sistem kodu yazarken değil, incelemede bozuldu; karşı örnekler halüsyone ederek ve doğru çözümleri çöpe atarak. Ve harness, herhangi bir model endpoint'ini kabul eden prompt'lar artı YAML adımlarından oluştuğu için, yalnızca bir benchmark iddiası değil, yeniden üretilebilir bir şablon.