· kaynak dev.to (home feed)
Domyn'un 1T parametreli MoE modeli JUPITER denemelerinde GPU başına saniyede 1.293 token'a ulaştı
Domyn, Avrupa'nın JUPITER süperbilgisayarında gerçekleştirilen 951,9 milyar parametreli bir mixture-of-experts modelinin denemelerinde, baştaki 90 değerinden yükselerek GPU başına saniyede medyan 1.293 token'a ulaşıldığını bildiriyor.

EUROPA konsorsiyumuna liderlik eden Milano merkezli şirket Domyn'den gelen teknik bir yazı, Avrupa'nın ilk exascale süperbilgisayarı JUPITER üzerinde yapılan mixture-of-experts eğitim denemelerini anlatıyor; denemelerde veri işleme hızı başlangıçtaki GPU başına saniyede yaklaşık 90 token'dan medyan 1.293 token'a yükselmiş. dev.to'da yer alan bir özete göre aynı yazı 12 Kasım 2026'da PyTorch blogunda da yayınlanmış; Domyn sonuçların tamamlanmış bir ön eğitim çalışması değil, denemelerden geldiğini açıkça belirtiyor.
Kamu donanımında yaklaşık bir trilyon parametreli model
Domyn ve iki Fraunhofer enstitüsünden oluşan EUROPA, 19 Haziran 2026'da Avrupa Komisyonu tarafından EuroHPC Frontier AI Grand Challenge'ın kazananı olarak seçildi. Komisyonun koşulları arasında en az 400 milyar parametreli açık bir model, AB'nin 24 resmi dilinin tamamının kapsanması ve EU AI Act'e uyum yer alıyor.
JUPITER, Forschungszentrum Jülich'te barındırılıyor ve her Booster düğümü dört NVIDIA GH200 Grace Hopper Superchip taşıyor. Domyn'un bildirdiği yapılandırma toplam 951,9 milyar parametreden oluşuyor; token başına 32,8 milyar parametre aktif, top-8 yönlendirmesi kullanan 384 yönlendirilmiş expert var ve ön eğitim dizi uzunluğu 65.536 token. Veri işleme hızı, veri-paralel kopya başına 96 düğüme yayılmış 384 GH200 GPU üzerinde ölçüldü; dört kopya için 1.536 GPU kullanıldı. Şirket, GPU başına saniyede yaklaşık 1.300 token ile bir kopyanın günde yaklaşık 43 milyar token işlediğini ve dört kopyalı kurulumun kabaca 150 milyar token'ı karşıladığını hesaplıyor.
Hız artışı nereden geldi
Domyn kazançları kısa bir mühendislik değişiklikleri listesine bağlıyor. Muon optimize edici için bütün-expert parçalama, her dereceye tam expert matrislerinin sahipliğini veriyor; böylece Newton-Schulz yinelemeleri dereceler arası hiçbir iletişim olmadan çalışıyor. Parametreler offload edilmiş durumdayken Newton-Schulz'u GPU üzerinde çalıştırmak, optimize edici adımını 41,7 saniyeden 2,2 saniyeye indirdi ve veri işleme hızını GPU başına saniyede 441 token'dan 597 token'a çıkardı. Aktivasyon checkpoint'lerinin Grace CPU'ya offload edilmesi veri işleme hızını GPU başına saniyede 370 token'dan 508 token'a yükseltti. FSDP all-gather'ın hesaplama akışında çalıştırılması ise allocator yeniden denemelerini 384'ten sıfıra indirdi.
Küçük puntodaki uyarılar
Yazının kendi açıklamaları, manşetteki sayının ne kadar yol kat edebileceğini sınırlıyor. Veri işleme hızları 4 ile 10 arası adımların medyanı ve kayıp karşılaştırması yalnızca on eğitim adımını kapsıyor. Hiçbir model ağırlığı, çıkış tarihi veya lisans açıklanmadı; eğitim verisi ve dil dağılımı da tanımlanmadı. Domyn'un kendisi, token'ları 96'şar expertlik dört gruba eşit yaymanın eğitim kalitesini bozabileceği konusunda uyarıyor.
dev.to'da atıf yapılan bağımsız haberler rekabetçi bağlamı ekliyor: Mistral AI, yaklaşık bir trilyon parametreli Mistral Large 4 modelinin açık ağırlıklarını 29 Ekim 2026'da yayınladı; Meta'nın Muse Spark Open modeli ise 816 milyar parametreye sahip.
Neden önemli
Avrupa'nın Frontier AI Grand Challenge'ı, paylaşımlı bir kamu süperbilgisayarının sınır ölçeğinde açık bir model üretebileceği önkabulüne dayanıyor. Bu denemeler, yaklaşık bir trilyon parametreli bir MoE'nin JUPITER üzerinde yüksek veri işleme hızıyla çalışabileceğinin somut kanıtı; ve kullanım oranı, 24 dili kapsayan 400 milyar paramreden fazla bir modelin makul bir bütçe ve takvim içinde gerçekten eğitilebilir olup olmadığını belirleyen sayı. Muon expert parçalamasından Grace CPU'lara checkpoint offload'ına kadar mühendislik notları, benzer donanımdaki diğer büyük çalışmalara aktarılabilir. Ancak sınırlar da veri işleme hızı kadar öğretici: on adımlık bir kayıp karşılaştırması ve açıklanmamış veri, model kalitesi, lisanslama ve zamanlama sorularını cevapsız bırakıyor. Tam bir çalışma tamamlanana ve ağırlıklar açık bir lisansla yayınlanana kadar bu, bir altyapı mühendisliği dönüm noktası; piyasada zaten var olan trilyon parametreli modellere verilmiş bitmiş bir Avrupa cevabı değil.
- #mixture-of-experts
- #supercomputing
- #llm-training
- #european-union
- #pytorch