ByteDance'in Axion 1.0 açık agent modeli yalnızca 18 bin örnekle eğitildi

Neler yayımlandı

2 Kasım 2026'da ByteDance ekibi, Duke Üniversitesi, Maryland Üniversitesi ve Buffalo Üniversitesi'ndeki araştırmacılarla iş birliği yaparak 35B ve 122B parametre boyutlarında sunulan agent temel modeli Axion 1.0'ı yayımladı. dev.to'da yayımlanan bir yazıya göre modelin ayırt edici özelliği bütçesi: toplam 18.363 eğitim trajectory'si, 122B varyantı için yaklaşık 1.000 GPU-saatliği bir süre ve mid-training, direct preference optimization ile on-policy distillation adımlarını tamamen atlayan bir tarif. Eğitim kodundan veri setlerine ve her iki boyutun ağırlıklarına kadar her şey Apache 2.0 lisansıyla sunuluyor.

Her iki varyant da Mixture-of-Experts mimarisi kullanıyor ve 128K token bağlam penceresiyle fine-tune edildi.

Üç aşamalı bir tarif

Eğitim üç aşamada yürüyor: iki tur supervised fine-tuning ve ardından reinforcement learning.

İlk SFT aşaması araç gerektirmeyen bilimsel akıl yürütme yeteneğini kuruyor. Tohum problemler herkese açık kaynaklardan sentezleniyor ve ardından bileşim ile parametrelendirme gibi dönüşümler kullanılarak temel modelin kendi başarılı çözüm stratejilerine karşı zorlaştırılıyor. Sonuç, üretildikleri anda model için zor olacak şekilde ayarlanmış 10.819 trajectory; ekip bu yaklaşımı model-farkında veri inşası olarak tanımlıyor ve neyin zor sayılacağına karar veren insan etiketleyici yok.

İkinci aşama araca bağımlı akıl yürütmeyi devreye sokuyor. Görevler gerçek veri tabanlarına, yani NASA Exoplanet Archive, OpenAlex ve UniProt'a dayanıyor ve soru henüz yazılmadan önce referans yanıtlar programatik olarak hesaplanıyor; böylece her örnek makineyle doğrulanabilir bir gerçek değere sahip oluyor. Bu aşama 7.544 trajectory ve yaklaşık 312 milyon token ekliyor ve modele bilgi boşluklarını retrieval yoluyla doldurmayı öğretiyor.

Son aşama, uzun soluklu agent trajectory'leri üzerinde Group Relative Policy Optimization uyguluyor; rollout işçileri araçlar ve ortamlarla etkileşirken politika güncellemeleri paralel şekilde ilerlesin diye işlem asenkron yürütülüyor. Eğitim, agent görevlerinin ürettiği uzun etkileşim geçmişleriyle başa çıkabilmek için session düzeyinde çalışıyor.

Tutarlılık için kurulan altyapı

dev.to yazısı, yeniden üretilebilirliğe yönelik iki mekanizmayı öne çıkarıyor. Token-In-Token-Out, pipeline boyunca token ID'lerini sabit tutuyor; böylece rollout ile eğitim arasındaki tokenizasyon farkları güncellemeleri sessizce bozamıyor. Rollout Routing Replay ise Mixture-of-Experts'e özgü bir sorunu ele alıyor: rollout sırasındaki expert yönlendirmesi, eğitim forward geçişindeki yönlendirmeden sapabilir ve R3, rollout yönlendirme kararlarını yeniden oynatarak gradient güncellemelerinin davranışı ilk üreten aynı expert'leri hedeflemesini sağlıyor. Yığın, FSDP'yi expert ve bağlam paralelliğiyle birleştiriyor ve SFT için swift, RL için verl kullanıyor.

Bildirilen benchmark sonuçları

Değerlendirme, bilimsel akıl yürütme, bilgi arama ve biyolojik veri analizini kapsayan altı benchmark'ı kapsıyordu: Humanity's Last Exam, BioMysteryBench, SEAL-0, HiPhO ve FrontierScience'ın Olympiad ile Research alt kümeleri.

122B model HLE'de 59,0, FrontierScience Research'da ise birden çok bilimsel makaleden bulguları birleştirme yeteneğini ölçen bu alt kümede 66,7 puan aldı. 35B model HLE'de 52,2 ve SEAL-0'da 62,2 puan aldı. Yazı, daha küçük modelin çoğu görevde Gemini 3.1 Pro ile çalışma maliyetinin çok küçük bir bölümüyle aynı performansı gösterdiğini bildiriyor; ancak Gemini rakamlarını tarafsız bir taraf değil, Axion ekibinin kendisi değerlendirmiş. Karşılaştırma agent'ı olan Agents-A1 ise HLE'de 47,6 puan aldı.

Neden önemli

Axion 1.0, yetenekli agent'lerin devasa pipeline'lar ve büyük tescilli veri setleri gerektirdiği varsayımına karşı bir veri noktası. Yaklaşık 18.000 özenle kurulmuş, programatik olarak doğrulanabilir trajectory ve kabaca 1.000 GPU-saat bu performans seviyesine ulaşıyorsa, görev tasarımı ve veri kalitesi salt hacimden daha önemli olabilir; bu da devasa işlem gücü bütçesi olmayan ekipler için cesaret verici.

Sürüm ayrıca alışılmadık ölçüde eksiksiz: veri inşası ve filtreleme kodu, SFT ve asenkron RL kodu, bir değerlendirme harness'i, Hugging Face'teki veri seti ve her iki boyutun ağırlıkları. Tarif modüler olduğu için birinci aşama alanlara özgü akıl yürütme verisiyle, ikinci aşama ise özel veri tabanlarıyla değiştirilebilir; bu da checkpoint'leri daha fazla fine-tuning için pratik bir temel hâline getiriyor. Daha geniş açıdan bakıldığında bu, agent eğitiminin özel mühendislikten belgelenmiş, yeniden üretilebilir tariflere doğru kaydığının bir işareti daha.