Meta'nın 816 milyar parametreli açık ağırlıklı Muse Spark Open'ı, coding agent testinde hosted modellerin gerisinde kaldı

Sonuç

dev.to üzerinde mihai_leanzero tarafından yayımlanan bağımsız bir benchmark, Meta'nın yeni açık ağırlıklı modeli Muse Spark Open'a coding agent olarak ilk gerçek dünya testini uyguladı ve sonuç hiç iç açıcı değil. Gönderiye göre 15 Ekim'de yayımlanan ve 816 milyar parametreye sahip olan modelin (42 milyarı aktif), Forge 2.0 agentic benchmark'ında (bir Jira Forge uygulaması yükseltme görevi) 1 üzerinden puanı 0.091 ve 0.0877 oldu; bu da onu 64 girişli tabloda 53. ve 54. sıraya yerleştirdi — en iyi yapım 0.8523 puan aldı. İkinci bir benchmark olan Gauntlet 7.2'deki çalışması ise hiçbir sonuç alamadı: 13 çağrıdan sonra sağlayıcı bağlantısı zaman aşımına uğradı ve maliyeti 19 sent oldu.

Çalışmalar OpenRouter üzerinden yürütüldü ve tüm trafik tek bir ana makine olan Modal'dan sunuldu. Muse Spark Open, yalnızca API üzerinden erişilebilen Muse Spark 1.3'ten farklıdır ve Meta'nın hosted kardeşleriyle karşılaştırma flattırık değil. Muse Wonder, Forge 2.0'da 0.4203 ve 0.2366, Gauntlet'te ise 0.7638 puan aldı ve 44 model arasında 9. olurken, Muse Spark 1.3 Forge'da 0.2968 ve 0.2202, Gauntlet'te 0.5826 puan aldı.

Çalışmanın koptuğu yer

Gauntlet görevi, 150 çağrı içinde bir ödeme konsolu istiyor — bir satıcıyla senkronize olan ve webhook'larını alan iki servis, artı bir 3D görünüm — ve işin büyük kısmı tek bir Python dosyasında. Yazar hızlı bir başlangıç bildiriyor: model, ilk dakikası içinde transport katmanını ve notifier servisini yazdı. Ardından büyük dosyaya yöneldi, ona dört kez başladı ve her deneme, upstream idle timeout ile başarısız olmadan önce yaklaşık iki dakika boyunca sessiz kaldı. Açık kaynak goose'un bir fork'u olan agent, isteği aynı sessizlikle üç kez yeniden gönderdi ve hedef dosya, her modelin başladığı 23 satırlık stub olarak kaldı.

Yazarın — açıkça kanıtlanmamış olarak işaretlediği — hipotezi, sunum yolunun model uzun bir tool call oluştururken hiçbir şey göndermemesi; böylece büyük bir yazma işleminin boşta bir bağlantı gibi görünmesi ve iki dakika işaretine yakın bir yerde zaman aşımını tetiklemesi. Aynı yolun tamamlanan en uzun Forge çağrısı 80 saniye sürdü ve hosted modellerin ürettiği boyutta bir dosya, dört dakikaya yakın bir süre gerektirecekti. Zaman aşımını OpenRouter'ın mı yoksa Modal'ın mı yükselttiği log'lardan anlaşılmıyor.

Hosted kardeşler de aynı yöne işaret ediyor. Muse Wonder tek bir 45.841 karakterlik çağrıda 845 satırlık bir dosya yazdı ve Muse Spark 1.3, 168 saniyelik bir isteğin ardından tek bir 54.910 karakterlik çağrıda 1.173 satır yazdı. İkisi de Meta'nın kendi endpoint'inde çalıştı; bu endpoint, açık ağırlıklı yolun tolere etmediği uzun çağrıları tolere etti.

Erken durdurma ve yerel saha

Muse Spark Open, Forge 2.0'da da erken bıraktı. Prompt 300 çağrı izni vermiş ve zamanı sanal olarak tanımlamıştı; ancak model iki çalışmasında yalnızca 58 ve 44 çağrı kullandı; gerekçesinde sınırlı çağrı ve sınırlı zamana atıf yaptı.

Diğer açık modeller de daha iyi performans göstermedi. Çeşitli boyutlarda Gemma 4, Granite 4.2 30B, LFM2.5-24B-A2B, Xing 4.0 ve Nemotron 3.5 Bolt, ekibin kendi Qwen3.8-27B fine-tune'larıyla birlikte ekibin Mac'lerinde yerel olarak çalıştı; yalnızca LFM2.5 çalışması 0.0187 ile tabloya girebildi. Forge 2.0'da değiştirilmemiş starter uygulaması 0.0617 puan aldığından, bu sayıda kalan bir model hiçbir şey yazmamış demektir — Xing 4.0 ve Granite 4.2 tam olarak oraya düştü. Tam bir uygulama inşa eden tek yerel model olan Nemotron 3.5 Bolt ise toplamlarını hiç kontrol etmedi: lint geçti ama widget ham bir kesirli sayı gösterdi. Yazar, bazı başarısızlıkların ekibin kendi hatası olduğunu açıkça söylüyor — bir bellek koruması çalışmaları kısa kesti, birkaç çalışma iptal edildi, bir fine-tune eksik bir flag yüzünden başarısız oldu — ve yinelenen modlar arasında hiç gelmeyen dosyalar, yazmadan sonsuz okuma ve düzyazı olarak dönen tool call'lar yer aldı.

Dikkat çeken bir ayrıntı var: düz Qwen3.8-27B tabanı, 64 GB'lık bir MacBook'ta 8-bit dönüşüm olarak, aynı Forge yapısında 0.2576 puan aldı — OpenRouter'daki 816 milyar parametreli modelin puanının neredeyse üç katı. Yazar, bunun thinking etkinleştirilmiş daha yeni bir test yapısında çalıştığı için temiz bir karşılaştırma olmadığı konusunda uyarıyor.

Karttaki sayılar ile pratik

Kağıt üzerinde açık ağırlıklar güçlü bir sonbahar geçirdi. Meta'nın kartı, Muse Spark Open'ı Terminal-Bench 2.1'de 76.4 olarak gösteriyor; yazar bu rakamı, onu Terminus 2 harness'inde xhigh eforunda çalıştıran Artificial Analysis'a kadar izliyor. Artificial Analysis ayrıca ona kendi Intelligence Index'inde 39 puan veriyor (karşılaştırılabilir modellerin medyanı 19) ve Vals AI %43.33 doğruluk, daha zor Terminal-Bench 4.0'da %6.57 listeliyor. dev.to ekibi modeli kendi harness'lerinde medium eforunda çalıştırdı; tablo sayıları 20 Ekim'de okundu.

Neden önemli

Güçlü bir model kartı ile çalışan bir coding agent arasındaki uçurum asıl hikâye. Bir model rekabetçi benchmark puanları alabilir ve yine de canlı bir tool-calling ortamında tek bir büyük dosyayı teslim edemeyebilir — kusur ağırlıklarda değil, sunum yolunda olabilir. Maliyet veya gizlilik gerekçeleriyle kendi sunucularında barındırılan açık modelleri, ücretli hosted agent'larla tartan ekipler için bu sonuçlar, açık ağırlıkların henüz birebir ikame olmadığını gösteriyor. Ve küçük bir Qwen tabanının 816 milyar parametreli bir modeli geçmesi, agentic benchmark'ların yalnızca ham yeteneği değil, tüm stack'i — model, harness ve altyapıyı — ölçtüğünün bir hatırlatıcısı.