deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak Hacker News – Front Page (native)

RadixArk'ın DaisyRose-27B'si, 1.200 görevlik RL çalışmasıyla Terminal-Bench puanını ikiye katladı

RadixArk, yalnızca 1.200 özenle seçilmiş uzun soluklu görev üzerinde yapılan pekiştirmeli öğrenmenin DaisyRose-27B'yi Terminal-Bench 4.1'de %5,6'dan %12,0'ya çıkardığını, çalışmanın 144 H200 GPU üzerinde 18 gün sürdüğünü bildiriyor.

RadixArk'ın DaisyRose-27B'si, 1.200 görevlik RL çalışmasıyla Terminal-Bench puanını ikiye katladı

RadixArk, ilk modeli DaisyRose-27B'yi yayınladı ve kasıtlı olarak küçük tutulan bir pekiştirmeli öğrenme çalışmasının, temel modelin puanını zorlu bir agentic benchmark üzerinde ikiye katladığını açıkladı. Şirketin duyurusuna göre, Qwen3.8-27B'yi yalnızca 1.200 özenle seçilmiş uzun soluklu görev üzerinde eğitmek, Terminal-Bench 4.1 pass@1 sonucunu %5,6'dan %12,0'ya çıkardı. Çalışma, 144 H200 GPU üzerinde 18 gün sürdü ve toplamda yaklaşık 63.000 GPU-saat tüketti; RadixArk, BF16, FP8 ve NVFP4 checkpoint'lerini Hugging Face üzerinde yayınlıyor.

Daha az görev, modelin hatalarına karşı seçildi

RadixArk, eğitim setini Eigent AI ile birlikte, makine öğrenimi, yazılım mühendisliği ve bilim alanlarını kapsayan geniş bir görev havuzundan yola çıkarak oluşturdu. Binlerce aday üretildi; yaklaşık 1.200'ü, üç kritere göre seçilerek son kadroya girdi.

Birincisi, her görev orijinal modelin gerçekte yaptığı bir hatayı hedefliyor. Ekip, Qwen3.8-27B'yi her aday üzerinde çalıştırdı ve eğitmek istedikleri belirli hataları ortaya çıkaracak şekilde görevleri yeniden tasarladı; ardından her görevin çözüm oranını ne kolay ne de umutsuz bir banda denk gelecek şekilde zorluk düzeyini ayarladı. İkincisi, görevler, birbirine bağlı birkaç problemi zincirleme birleştiren uzun işler; bu da çok aşamalı akıl yürütme, planlama ve yürütme zorunlu kılıyor. Tek bir deneme, 100'den fazla tool çağrısı ve 256k'dan fazla çıktı token'ıyla bir sandbox içinde 1,5 saate kadar sürebiliyor. Üçüncüsü, ekip görevleri model denemeleriyle birlikte elle inceledi ve gerçekten çözmeden geçilebilecek her şeyi kaldırdı ya da düzeltti; bu, reward hacking'e karşı açık bir savunma.

Asenkron eğitim altyapısı

Eğitimde, RadixArk'ın post-training için açık kaynaklı pekiştirmeli öğrenme çerçevesi Miles, tamamen asenkron modda kullanıldı: agent çalışmaya devam ederken trainer öğreniyor ve hiçbiri diğerini beklemiyor. Yayın çalışması sırasında 128 H200 GPU agent çıkarımını yürütürken 16'sı trainer'ı çalıştırdı ve güncellenmiş ağırlıklar her adımdan sonra çıkarım filosuna gönderildi. Dahili backend, agent iş yükleri için tasarlandı; her adımda birkaç, bazıları 1M token'a ulaşan çok uzun oturumdan öğreniyor ve bunlar harness özetlemesi yoluyla çoklu yörüngelere katlanıyor.

Verimlilik iddiaları en çarpıcı kısım. RadixArk, kendi backend'inde karşılaştırılabilir çalışmalarda %37 model FLOPs kullanımı bildiriyor; Megatron üzerine kurulu açık kaynak trainer için bu oran %16 ve bu, aynı eğitimin %57 daha az GPU zamanı gerektirdiği anlamına geliyor. Agent süresi dahil uçtan uca, çalışma 144 GPU boyunca saniyede yaklaşık 16.800 token işlerken açık kaynak trainer için bu değer kabaca 8.300'dü. Şirket, kazanımların mixture-of-experts modellerde daha büyük olduğunu söylüyor: Qwen3.6-35B-A3B'de 6,2 kat ve yaklaşık 300 milyar parametreli GLM-5.3-Flash'ta 10 kattan fazla.

Ölçekte sandbox'lar

Her eğitim denemesi, agent'ın komutlar çalıştırdığı ve dosyaları düzenlediği, ardından puanlandığı taze bir sandbox ortamında yürütülüyor. RadixArk bunları, açık kaynak AgentENV projesi üzerine kurulu kendi servisinde, tek makineden 12 makineye ölçekleyerek çalıştırdı. Eylül ortasından Kasım ortasına kadar servis, bu proje için yaklaşık 944.000 sandbox çalıştırdı ve eşzamanlı çalışan sayısı 1.566'ya kadar çıktı. Sandbox oluşturmalarının yüzde 99'u genel olarak başarılı oldu; Ekim sonundan beri bu oran %99,95'in üzerinde ve eğitim devam ederken neredeyse tamamen canlıyken on yükseltme yayımlandı. RadixArk, sandbox bulut maliyetlerinin popüler ticari sandbox sağlayıcılarına göre yaklaşık %80 daha düşük olduğunu, bunun bir nedeninin her sandbox'ın belleğinin gerçek kullanıma göre büyüyüp küçülmesine izin vermek olduğunu tahmin ediyor.

Değerlendirme uyarıları

RadixArk, DaisyRose-27B'nin test ettiği, akıl yürütme, talimat takibi ve kodlama kapsayan diğer tüm benchmark'larda da orijinal Qwen3.8-27B'yi geçtiğini söylüyor. Ancak tüm rakamlar şirket tarafından bildiriliyor ve metodoloji önemli: Terminal-Bench 4.1 sonuçları, özetlemenin etkin olduğu RadixArk'ın dahili mini-swe-agent harness'i ile görev başına 8 çalışmanın ortalaması; dolayısıyla diğer harness'lerden alınan puanlar doğrudan karşılaştırılamayabilir. Yayına bağımsız bir değerlendirme eşlik etmiyor.

Neden önemli

Bu, RL post-training'in görev niceliğinden çok niteliğini ödüllendirdiği tezi için önemli bir veri noktası. 1.200 elle seçilmiş görev, 18 günlük bir çalışma ve 144 GPU'luk bir küme, frontier standartlarına göre mütevazı; yine de RadixArk, agent'lar için acımasız ölçüde zor olacak şekilde tasarlanmış bir benchmark'ta 2,1 kat iyileşme iddia ediyor. Mutlak skor olan %12 hâlâ düşük; ancak iddia edilen reçete — bilinen model hatalarını hedefleyen görevler, trainer ile agent'ı asenkron tutmak ve ucuz ayrılmış sandbox'lar çalıştırmak — diğer ekiplerin kopyalayabileceği bir şablon sunuyor. Verimlilik ve maliyet rakamları dışarıdan denetimde doğrulanırsa, bu yayın, açık modeller üzerinde özelleştirilmiş post-training yapan kuruluşlar için engeli düşürüyor ve yayımlanan checkpoint'ler ile açık kaynak Miles çerçevesi yaklaşımı ilke düzeyinde yeniden üretilebilir kılıyor.

  • #reinforcement-learning
  • #open-source
  • #language-models
  • #benchmarks
  • #agents

İlgili yazılar