· kaynak dev.to (home feed)
RadixArk'ın DaisyRose-27B'si, ücretsiz Qwen modelinin Terminal-Bench 4.1 skorunu %5,6'dan %12'ye taşıdı
RadixArk, Qwen3.8-27B'nin ince ayarlanmış hali olan DaisyRose-27B'nin 18 günlük pekiştirmeli öğrenmenin ardından Terminal-Bench 4.1 skorunu iki kattan fazla artırdığını duyurdu ve modeli Apache 2.0 lisansıyla ücretsiz olarak yayınladı.

RadixArk, DaisyRose-27B'yi yayınladı
Girişim şirketi RadixArk, ilk modeli olan DaisyRose-27B'yi yayınladı; model, Alibaba'nın Qwen ekibinin ücretsiz indirilebilen 27 milyar parametreli modeli Qwen3.8-27B'nin yeniden eğitilmiş bir sürümü. Haberi dev.overda aktaran Fathom News'e göre yayın, 18 Kasım'da bir Hugging Face blog yazısıyla duyuruldu ve ağırlıklara Apache 2.0 lisansı altında erişilebiliyor; yani herkes bunları kullanabilir veya değiştirebilir.
Öne çıkan sonuç şu: 144 Nvidia H200 GPU'dan oluşan bir kümede 18 gün süren eğitimin ardından, modelin terminal ortamında çalışan yapay zeka ajanlarını zorlu bir biçimde sınayan Terminal-Bench 4.1'deki başarı oranı yüzde 5,6'dan yüzde 12,0'a yükseldi.
Yeni bir taban model yerine özenle hazırlanmış görevler
RadixArk, büyük laboratuvarlara milyarlara mal olan bir girişim olan bir temel modeli sıfırdan eğitmedi. Bunun yerine, modelin bir görevi denediği, bir puan aldığı ve işe yarayan davranışlara göre kendini güncellediği pekiştirmeli öğrenme yöntemini uyguladı.
Burada kilit nokta görev tasarımı gibi görünüyor. Ortağı Eigent AI ile çalışan ekip, makine öğrenmesi, yazılım mühendisliği ve bilim alanlarını kapsayan binlerce aday problem üretti, ardından bu seti yaklaşık 1.200 göreve indirdi. Elde tutulan her görev, taban modelin tekrarlayan bir zayıflığını hedefliyor, tamamlanması çok sayıda adım gerektiriyor ve yalnızca problemi gerçekten çözerek geçilebiliyordu; puanlama sistemindeki açıklardan yararlanarak değil. Tek bir deneme 1,5 saate kadar sürebiliyor ve 100'den fazla araç çağrısı içerebiliyordu.
Test edilen her benchmark'ta kazanç
RadixArk, yeniden eğitilen modelin çalıştırdığı her benchmark'ta orijinal Qwen'u geride bıraktığını söylüyor:
| Benchmark | Qwen3.8-27B | DaisyRose-27B |
|---|---|---|
| Terminal-Bench 4.1 | 5.6 | 12.0 |
| Terminal-Bench 2.1 | 73.0 | 75.5 |
| DeepSWE v1.1 | 42.2 | 46.2 |
| IFBench | 79.5 | 82.4 |
| GPQA Diamond | 89.2 | 90.7 |
Bu rakamların tümü RadixArk'ın kendi değerlendirmelerinden geliyor ve şirket, modelin hâlâ eksik kaldığı yerleri kullanıcılara bildirmeleri için çağrıda bulundu.
Asıl satış noktası eğitim ekonomisi
Model ayrıca RadixArk'ın asıl olarak satmaya çalıştığı şey olan eğitim altyapısının bir demonstrasyonu işlevi de görüyor. Eğitim çalışmasında, şirketin ücretsiz erişime açık pekiştirmeli öğrenme yazılımı Miles ile kendi eğitim arka ucu kullanıldı. RadixArk, arka ucun her GPU'nun tepe gücünün yüzde 37'sini faydalı eğitim işine dönüştürdüğünü, yaygın olarak kullanılan bir açık kaynak eğitimcide ise bu oranın yüzde 16 olduğunu iddia ediyor; şirkete göre bu fark, eşdeğer bir iş için gereken GPU süresini yüzde 57 azaltıyor ve bazı diğer model tasarımlarında kazanç daha da büyük.
Görev denemeleri izole sandbox ortamlarında yürütüldü. RadixArk, eylül ortasından kasım ortasına kadar yaklaşık 944.000 deneme gerçekleştirdi; aynı anda 1.566 denemeye kadar çalıştı ve sandbox faturasının ana akım sağlayıcılara kıyasla yaklaşık yüzde 80 daha düşük olduğunu tahmin ediyor. Tüm çaba yaklaşık 63.000 GPU-saati tüketti.
Neden önemli
Rekabetteki cephe, tartışmalı biçimde, en büyük modeli kimin inşa edebileceğinden mevcut bir modelden en fazla yetkinliği kimin çıkarabileceğine kayıyor. Küçük bir ekip, üç haftadan kısa sürede zorlu bir ajan benchmark'ında ücretsiz bir modelin skorunu iki kattan fazla artırabiliyorsa, kendi alan verilerine sahip kuruluşlar da frontier laboratuvarı bütçeleri olmadan güçlü ve uzmanlaşmış ajanlar üretebilir.
Fathom News'in de belirttiği gibi, rakamlara perspektiften bakmak gerekiyor. Terminal-Bench 4.1'de yüzde 12,0'lık bir başarı oranı, modelin bu görevlerin büyük çoğunluğunu hâlâ başaramadığı anlamına geliyor ve diğer benchmark'lardaki iyileşmeler tek haneli düşük rakamlarda kaldı. Sonuçlar şirket tarafından bildirildi ve henüz bağımsız olarak doğrulanmadı.
İzlenmesi gerekenler
Bunun tek bir duyurunun ötesinde önemli olup olmayacağını iki soru belirleyecek: dışarıdaki geliştiricilerin kendi görevlerinde benzer kazanımları yeniden üretip üretemeyeceği ve diğer ekiplerin kendi eğitim çalışmaları için Miles'u benimseyip benimsemeyeceği. İkisi de gerçekleşirse, Qwen, Meta ve diğerlerinin ücretsiz tabanları üzerine inşa edilmiş küçük, ucuz ve uzmanlaşmış modellerden oluşan bir dalganın gelmesini bekleyin; bu da en yetkin modelleri için ücret alan büyük laboratuvarlar üzerinde fiyat baskısı yaratır.
- #open-source
- #reinforcement-learning
- #ai-agents
- #llms
- #qwen