StepFun, 1M token bağlam destekli 600B parametreli MoE modelinin ağırlıklarını açık kaynak yaptı

StepFun, toplam 600 milyar parametreye sahip, token başına yaklaşık 27 milyar parametre aktive eden ve bir milyona kadar token bağlamı kabul eden temel model Step 5 Preview'ın açık ağırlıklarını yayınladı. dev.to'da yayınlanan bir gönderiye göre bu sürüm, uzun süre çalışan agentic orkestrasyonu ve çok adımlı analitik problem çözmeyi hedefliyor; checkpoint'ler Hugging Face ve ModelScope üzerinde BF16, FP8 ve NVFP4 formatlarında yayınlandı.

Uzun bağlamlar için tasarlanmış derin, seyrek bir mimari

Gönderi, modelin topolojisini genişlik yerine derinliği tercih eden bir yapı olarak tanımlıyor: 3:1 oranında iki dikkat mekanizması arasında dönüşümlü çalışan 92 katman. Her dört katmandan üçü, karekteristik dikkat hesaplamasını sabit boyutlu bir ufka sınırlayan gated sliding-window attention kullanıyor; bu durumun taslak modelle speculative decoding'i kolaylaştırdığı belirtiliyor. Dördüncü her katman ise grouped query'li tam global dikkat uyguluyor; böylece bir belgenin başındaki bilgilere, birçok diyalog ve araç çağrısı turu boyunca erişilebilir kalıyor.

Seyreklik, her üretilen token için 27 milyar parametre seçen bir router ile yönetiliyor; bu seçim, evrensel sözdizimsel gösterimler için paylaşılan uzmanlar ile soyut akıl yürütme için özel uzmanlardan yapılıyor. Yazar, bu ayrımın uygulama alanları arasındaki gürültüyü izole ettiğini belirtiyor. Tasarımın bütünüyle, VRAM artışının bir milyon token eşiğinde kontrol altında tutulduğu ve tekrarlanan araç çağrıları içeren kodlama ve denetim iş yüklerinde prefill maliyetlerinin azaldığı ifade ediliyor.

Çalıştırmak için gerekenler

NVFP4 nicemlemesinde bir checkpoint yaklaşık 340 GB VRAM kaplıyor ve gönderiye göre Hopper veya Blackwell GPU'lardan oluşan dört hızlandırıcılı bir küme, modeli saniyede 110'dan fazla token hızla sunabiliyor. Yazar, bu ayak izinin büyük kod tabanlarının sürekli alınmasını ve yeniden düzenlenmesini, monorepo denetimlerini ve hassas verinin modellenmesini, kuruluşun kendi donanımında ve endüstriyel sırları üçüncü taraf bir API'ye göndermeden yapmayı mümkün kıldığını savunuyor.

Bildirilen kıyaslama sonuçları

Gönderi, çağdaş sınır modelleriyle — OpenAI'nin GPT-6 Astra'sı, DeepSeek 4.1, Anthropic'in Claude Fable 5.1'i ve Google DeepMind'ın Gemini 3.8 Flash Cyber'ı — bir karşılaştırma yayınlayarak sonuçları, insan müdahalesi olmayan deterministik değerlendiricilerle yürütülen topluluk kaynaklı testlere atfediyor:

• SWE-bench Verified: %78,2; GPT-6 Astra'nın (%78,1) ve DeepSeek 4.1'in (%77,8) hemen üzerinde
• AIME 2026: %94,1; GPT-6 Astra'nın %94,2'sinin hemen gerisinde
• AgentBench: %87,6; Claude Fable 5.1'in (%88,1) ve GPT-6 Astra'nın (%87,8) gerisinde
• MMLU-Pro: %84,5; GPT-6 Astra için %84,9'a karşı

Bu rakamlar tek bir blog gönderisinden geliyor ve bu makale için bağımsız olarak doğrulanamadı; teknik rapor bunları teyit edecek yer. Gönderinin kendi rakamlarına göre model, yazılım mühendisliği ve matematikte alanın en önünde ya da ona yakın, agentic sağlamlıkta ise liderlerin hafif gerisinde yer alıyor.

Nasıl eğitildi

Denetimli ince ayarın ötesinde, gönderi StepFun'un eğitim verisini, farklı agent'ların hipotez formüle eden, korumalı alanda kod çalıştıran ve kalite eleştirmeni rollerini üstlendiği, insan uzmanların belirlediği yönergeler altında çalışan çoklu agent'lı bir veri hattıyla oluşturduğunu söylüyor. Agent'ların yüz binlerce gerçekçi mühendislik senaryosunu simüle ettiği ve laboratuvarın halka açık kıyaslamalarla kirlenmemiş saydığı veri ürettiği belirtiliyor. Hizaya getirme, uzun yörüngeler üzerinde uygulanan bir kredi atama şemasıyla pekiştirilmiş. Gönderi ayrıca, tescilli bir ön eğitim veri hattının, bu ölçekteki seyrek MoE'leri tarihsel olarak etkileyen routing çökmesi ve düğümler arası bant genişliği darboğazlarını aştığını belirtiyor.

Neden önemli

Bu ölçekte açık ağırlıklar, agentic sistemler kuran ekiplerin seçeneklerini değiştiriyor. Gönderi, büyük kod tabanları üzerinde zincirleme tümevarımsal akıl yürütmeye ihtiyaç duyan kuruluşların, hizmet şartları değişikliklerine, öngörülemeyen gecikmeye ve üçüncü taraf veri egemenliğine maruz kalmanın da bedeliyle kapalı API'lerden başka pek seçeneği olmadığını savunuyor. Dört hızlandırıcı üzerinde kendi kendine barındırılabilen ve bildirilen rakamlara göre tescilli sınır modelleriyle başa baş mücadele eden, bir milyon token bağlamlı 600B parametreli bir model, bu bağımlılığı isteğe bağlı hale getiriyor. Modeli değerlendiren herkes için mantıklı bir sonraki adım, resmi teknik rapor ve kıyaslama iddialarının bağımsız tekrarlarıdır.