Moonshot, Kimi K3.1 Pro'yu açık kaynak yaptı: 2,8 trilyon parametreli, 1 milyon token bağlam pencereli çok modlu agentic model

Moonshot AI, Kimi K3.1 Pro'nun ağırlıklarını Hugging Face üzerinde yayımlayarak ön ölçekli (frontier) bir modeli serbestçe indirilebilen bir yapıta dönüştürdü. 4 Kasım'da Hacker News ana sayfasına çıkan bu sürüm, K3.1 serisinin ilk modeli. Model kartına göre bu, Moonshot'un yaklaşık üç trilyon parametre sınıfında ürettiği en güçlü model ve metin ile görüntü alanlarında çalışan agentic bir sistem olarak inşa edilmiş.

Moonshot ne yayımladı

Model kartına göre K3.1 Pro, Kimi K3'ten, yüzlerce alt görev alanında büyük ölçekli ortak pekiştirmeli öğrenme (reinforcement learning) yoluyla son eğitim (post-training) aşamasından geçmiş; kodlama, 3D içerik üretimi, finansal araştırma ve gerçeklik doğruluğu alanlarında kazanımlar iddia ediliyor. Öne çıkan teknik özellikler şöyle:

• Toplam 2,8 trilyon parametreli, token başına 104 milyar parametre aktive eden Mixture-of-Experts mimarisi
• 93 katman; 896 uzmandan oluşan ve token başına 2 paylaşımlı uzmanla birlikte 16 uzmana yönlendirme yapan yapı
• 1.048.576 tokenlık bağlam penceresi
• Metin ve görüntü girdisi kabul eden, 401 milyon parametreli MoonViT-V2 görüntü kodlayıcı
• Quantization-aware training sonucu elde edilen, MXFP8 aktivasyonlarla birlikte MXFP4 formatında dağıtılan ağırlıklar

Attention tasarımı Kimi K3'ten bir sapmayı işaret ediyor: Kart, tam attention'lı gated MLA katmanlarının, 69 KDA katmanıyla eşleştirilmiş 24 Gated DeepSeek Sparse Attention katmanıyla değiştirildiğini açıklıyor; Moonshot bu değişikliği daha verimli uzun bağlam modellemesine bağlıyor. Sparse attention indeksi 32 head kullanıyor ve tokenlar arasında top-k olarak 2.048 token seçiyor. Sözlük 160.000 tokenı kapsıyor ve aktivasyon fonksiyonu SiTU-GLU.

Sonuçları nasıl

Moonshot'un değerlendirme tablosu K3.1 Pro'yu Claude Fable 5.1, GPT-6 Astra, Claude Opus 5.5, DeepSeek-V4.1-Flash-1017 ve GLM-5.3 ile karşılaştırıyor; tescilli rakipler maksimum çabayla ve geri dönüş (fallback) davranışına izin verilerek çalıştırılmış.

Sonuçlar karışık ama zirvede rekabetçi. SWE Marathon v1.1'de model 51,7 puan alarak Fable 5.1'in (45,6) ve hem GPT-6 Astra'nın hem GLM-5.3'ün 42,5 puanlarının önünde. Terminal-Bench 4.0'ta 65,7'ye ulaşıyor; Opus 5.5'in bir puan gerisinde ve listelenen diğer rakiplerin önünde. Göz atma benchmark'ı BrowseComp'ta 92,1 puan alıyor; GPT-6 Astra'nın (91,5) ve Opus 5.5'in (90,8) hafif üzerinde. Araçlarla çalıştırılan HLE-Full'daki 70,0 puanı o satırın en iyisi ve GPQA-Diamond 94,2'de kalıyor; GPT-6 Astra 96,1 almış.

Farklar birçok alanda ters yönde işliyor. Terminal-Bench-Science 38,1 puan gösteriyor; GPT-6 Astra 68,1 almış. Program Bench'te 31,5'e karşılık Opus 5.5 65,0 puanında ve HLE-Diamond'da modelin 39,4 puanı GPT-6 Astra'nın 65,8'inin gerisinde. Siber güvenlik benchmark'ları belirgin bir zayıf nokta: ExploitBench'te bildirilen 100 puanlık GPT-6 Astra'ya karşılık 74,7 alan model, ExploitGym'de 42,4'e karşılık 20,7 puan alıyor. Araçlarla çalıştırılan ve düşüğün daha iyi olduğu dahili bir halüsinasyon benchmark'ında K3.1 Pro 8,3 puan kaydediyor — rakiplerin çoğundan iyi ama GPT-6 Astra'nın 5,5'inin gerisinde.

Rakamları dikkatli okumak

Bunlar üretici tarafından yürütülen değerlendirmeler ve dipnotlar dikkat gerektiriyor. Kimi Code Bench paketleri, DECK-Arena, Design Bench, Business Operation ve xdev-bench-hard dahil olmak üzere çeşitli benchmark'lar dahili olarak etiketlenmiş. Kimi'nin kendi kodlama çalışmaları Claude Code harness ile değerlendirilirken, rakip rakamları resmi leaderboard'lar, sistem kartları ve üretici sürüm bloglarından gelen bir karışımdan geliyor. Tablodaki bir tire, yalnızca o puanın bildirilmediği anlamına geliyor; dolayısıyla sütun bazlı karşılaştırmalar her zaman eksiksiz değil.

Neden önemli

Açık ağırlıklarla yayımlanan, milyon tokenlık bağlama ve doğal görüntü anlama yeteneğine sahip 2,8 trilyon parametreli bir model, indirilebilir modeller ile yalnızca API üzerinden sunulan ön ölçekli sistemler arasındaki mesafeyi daraltıyor. Token başına yalnızca 104 milyar parametre aktive olsa ve ağırlıklar 4 bit olsa bile bunu yerel olarak çalıştırmak ciddi bir donanım meselesi; ancak araştırma grupları artık bu sınıftan bir sistemi kara kutu olarak görmek yerine inceleyebilir, fine-tune edebilir ve distill edebilir. Bu sürüm ayrıca Moonshot'un DeepSeek ve Zhipu'nun GLM çizgisiyle birlikte, tescilli tekliflerle doğrudan rekabet eden açık ağırlıklar yayımlama şeklindeki Çinli laboratuvarların örüntüsünü sürdürüyor ve sparse attention benimsemesi, verimli uzun bağlam tasarımının nereye gittiğine işaret ediyor. Bağımsız değerlendirmeler ortaya çıkana dek Moonshot'un benchmark iddiaları kesinleşmiş değil, umut verici olarak ele alınmalı.