Ai2, Olmo-core 3'ü Apache 2.0 ile yayınladı: MoE eğitim verimi 2,7 kat arttı

Ai2 ne yayınladı

1 Ekim 2026'da Allen Institute for AI (Ai2), Olmo dil modellerini eğitmek için kullandığı çerçeve olan Olmo-core'un 3. sürümünü, bir teknik raporla birlikte Apache 2.0 lisansı altında açık kaynak olarak yayınladı. Sürümün dev.to üzerindeki yazısına göre paket, PyPI üzerinden ai2-olmo-core adıyla kuruluyor ve Olmo 3 7B ile 32B modelleri için resmi pretraining tariflerinin yanı sıra Hugging Face formatına dışa aktarma yapan checkpoint dönüşüm araçlarıyla birlikte geliyor.

Hedeflediği kapasite sorunu

Yeniden yazım, seyrek modellerin ekonomisine odaklanıyor. Bir mixture-of-experts (MoE) ağı çok sayıda uzman alt ağ saklar ama her token'ı bunların yalnızca birkaçından geçirir; böylece token başına hesaplama küçük kalırken saklanan parametre sayısı şişer. dev.to'da aktarıldığı üzere Ai2'nin raporu, eğitim maliyetlerini iki aileye ayırıyor: saklanan parametrelerle ölçeklenen ve ağırlık depolama, gradient senkronizasyonu ile optimizer güncellemelerini kapsayan bir "kapasite vergisi" ve yönlendirme ile yürütmeye bağlı bir "runtime vergisi". Yoğun (dense) modeller ilk maliyeti doğal olarak emer, çünkü daha fazla parametre daha fazla yararlı iş demektir. Seyrek modeller bu bağı koparır.

Önceki uygulamada ağırlıklar her microbatch etrafında toplanıp yeniden shard ediliyordu; bu yüzden sabit aktif boyutla uzman eklemek, token başına yararlı iş neredeyse değişmese bile verimi düşürüyordu. Bu uyumsuzluk yeniden yapımı motive etti.

Yeni stack nasıl çalışıyor

Olmo-core 3, fully sharded data parallelism yerine distributed data parallelism kullanıyor. Her rank, modelin kendi bölümünü tüm accumulation penceresi boyunca bellekte tutuyor ve gradientleri optimizer adımı başına bir kez senkronize ediyor; dağıtık bir optimizer ise FP32 ana ağırlıkları ve optimizer durumunu shard ediyor. Expert parallelism, yönlendirilen uzmanları rank'lar arasında dağıtıyor ve yalnızca seçili token satırlarını, eşleşen uzmanı tutan rank'a gönderiyor; NVSHMEM her satırı doğrudan hedef buffer'ına yazıyor. Pipeline parallelism ise tek bir rank'a sığmayan katmanları kapsıyor.

Kodu okuyan herkes için iki uygulama detayı öne çıkıyor. Yönlendirme metadata'sı artık GPU üzerinde kalıyor; eski yolun all-to-all split boyutları ve uzman grubu boyutları için host belleğine yaptığı gidiş-dönüş ortadan kalkıyor. Device üzerinde zamanlanmış grouped GEMM'ler, yönlendirmenin ürettiği dengesiz uzman başına şekilleri yürütüyor; rapor, bunun her uzman grubunu ortak bir kapasiteye padding yapmaya göre nerede üstün olduğunu ve nerede olmadığını ölçüyor.

Ai2'nin raporladığı sayılar

Bir benchmark'ta Ai2, uzman havuzunu 8'den 128 uzmana büyüttü ve token başına dört uzman seçti; aktif parametreler yaklaşık 3,2 milyarda tutuldu. Toplam kapasite 4,6 milyardan 47 milyar parametreye çıktı ve verim yüzde 5'ten az düştü. Ai2'nin ön sonuç olarak nitelendirdiği ikinci bir çalışmada, 47 milyar parametrelik bir MoE modeli yeni stack ile sekiz NVIDIA B300 GPU'da GPU başına saniyede yaklaşık 52.000 token işledi; değiştirilen uygulamada bu sayı yaklaşık 19.400'tü — kabaca 2,7 kat verim.

Raporun ölçülmüş çalışma noktaları, 16 GPU'daki 12,9 milyar parametrelik yapılandırmadan 512 GPU'daki 1,2 trilyon parametrelik yapılandırmaya uzanıyor; burada MXFP8 hassasiyeti ve katman başına recompute ile GPU başına 858 yararlı-model TFLOP/s değerine ulaşıldı. Opsiyonel DeepEP v2 backend'indeki deneysel bir kapasite testi 2,38 trilyon parametreye ulaştı. Ai2, yapılandırmaların batch boyutu, parallelism, hassasiyet ve recompute politikası açısından farklı olduğu uyarısını yapıyor; bu yüzden rakamlar kontrollü bir ölçekleme eğrisi değil çalışma noktaları ve her başlık hızı, rastgele yönlendirme altında ölçülmüş bir sistem referansı.

Açık ödünleşimler de var. Activation recompute, aktivasyon belleğinin neredeyse üçte ikisini ve tepe belleğin yaklaşık dörtte birini kaldırıyor; bedeli ise verimin kabaca beşte biri. Topolojiden bağımsız checkpoint'ler, bir çalışmanın checkpoint'ini yeniden yazmadan farklı node sayısında devam etmesini sağlıyor.

Ekibin reddettiği yaklaşımlar

Rapor ayrıca ekibin deneyip benimsemediği yaklaşımları da belgeliyor; diğer uygulayıcılar için belki de en yararlı bölüm bu. İletişimi hesaplama ile örtüştürmek, örtüşen kernel'leri örtüşmenin gizlediğinden daha fazla yavaşlattı, çünkü iki etkinlik de aynı GPU kaynakları için rekabet ediyordu. Modelleme tarafında yazarlar, yük dengeleme kaybı iyileşirken uzmanlar arasındaki dengesizliğin büyüdüğü bir başarısızlık örüntüsüne "Token Gerrymandering" adını veriyor.

Neden önemli

Üretim ölçeğindeki eğitim kodu bu ayrıntı düzeyinde nadiren yayınlınır ve Olmo-core 3, uygulayıcılara pretraining scriptlerinden dağıtık optimizer iç yapısına kadar eksiksiz, tekrarlanabilir büyük ölçekli bir eğitim stack'i elverişli bir lisansla sunuyor. Baş döndüren ders yapısal: uzman sayısı büyüdükçe maliyeti aritmetik değil parametre defter tutma belirliyor ve uzmanları bellekte tutup yalnızca token satırlarını taşımak bunun büyük kısmını geri kazandırıyor. En az bunun kadar değerli olanı, belgelenmiş olumsuz sonuçların diğer ekipleri teoride umut verici görünen denemeleri tekrar etmekten kurtarması.