Reward shaping, chain-of-thought akışlarını yüzde 65'e kadar kısaltıyor

Araştırma ne buldu

dev.to'daki bir yazı, ortak bulgusu eğitim sırasında ödül sinyalinin yeniden şekillendirilmesinin hibrit "düşünen" dil modellerini çok daha kısa chain-of-thought zincirleri üretmeye itebilmesi olan iki pekiştirmeli öğrenme çalışmasını özetliyor — yüzde 65'e varan kısalma, cevap kalitesi ise büyük ölçüde korunuyor. Yazı iki makaleye dayanıyor: biri RL ile eğitilmiş bir karar modeli olan StartLux-Decision'ı, diğeri ise "The Thinking Leakage in Reinforcement Learning for LLMs" başlıklı çalışmayı tanımlıyor.

Öne çıkan rakamlar

Yazıya göre, yazarların RLCD² adını verdiği bir yöntem, üretim limiti içinde tamamlanan akışların payını 48 yüzde puanına kadar artırıyor ve ortalama akış uzunluğunu yüzde 65'e kadar kısaltıyor. 9 milyar parametreli bir modelde, limit içinde sonlanma oranı yüzde 45,9'dan yüzde 93,9'a çıkarken, ortalama akış uzunluğu 2.494 token'dan 868'e düştü.

Qwen3 ailesi üzerinde yapılan ikinci bir dizi deney, bir "think kazanma oranını" izledi: eğitilmiş bir yanıtın, ikili karşılaştırmada orijinal bir NO-THINK çıktısından daha THINK benzeri olarak değerlendirilme sıklığı. Bu oran 8B checkpoint'inde yüzde 50'den yüzde 94'e sıçradı; 4B'de yüzde 86'ya ve 1,7B'de yüzde 84'e çıkan benzer kazanımlar elde edildi.

Yeni bir beceri değil, yeniden aktive olan bir yol

Mekanist iddia hikâyenin daha şaşırtıcı yarısı. NO-THINK rejimindeki önceki RL çalışmaları, performans kazanımının yeni öğrenilmiş politiklardan geldiğini varsayıyordu. Bu çalışmalar ise bunun yerine, mütevazı biçimde yeniden şekillendirilmiş bir ödülün modelde zaten var olan içsel bir akıl yürütme modunu — sızıntı makalesinin çerçevesiyle, uykuda olan THINK devresini — yeniden aktive ettiğini savunuyor.

En güçlü kanıt, activation patching'den geliyor. Araştırmacılar orijinal modelin think alt uzayını RL ile eğitilmiş varyanta yamaladıklarında doğruluk 0,244'e düştü ve RL kazanımının yaklaşık yüzde 75'i silindi; yanıt uzunluğu yaklaşık 7.000 token'dan 4.200'e düşerken, özdüşünümsel kelimeler yanıt başına 13'ten 4'ün altına indi. Bu, ödül kaynaklı iyileşmeyi yaygın yeniden eğitim etkilerine değil, düşük boyutlu, THINK ile ilişkili bir aktivasyon alt uzayına bağlıyor.

Dağıtım için anlamı

Yazı, Qwen3 modelleri için reward-shaping hedefini uygulayan LoRA adaptörlerinin think-leakage deposunda herkese açık olduğunu belirtiyor. Tam ince ayarlar değil adaptörler oldukları için ekipler, bu tekniği temel modeli yeniden eğitmeden uygulayabilir — uzun chain-of-thought hatlarını fiilen daha yalın olanlarla değiştirerek. Kısaltmalar üretimde de geçerli olursa, gecikme ve token işleme maliyetleri, kısalan akışlarla kabaca orantılı biçimde düşmelidir.

Sınırlar

Sonuçlar belirli hibrit mimarilerle sınırlı — Qwen3 serisi ve StartLux-Decision — ve bunların ilgili değerlendirme setleriyle: Qwen3 deneyleri için aritmetik ve araç kullanımı değerlendirmeleri, StartLux-Decision için ise Decision Index ve DecisionPivot gibi karar değerlendirme setleri. Aynı reward shaping'in salt decoder-only modellere veya diğer görev alanlarına aktarılıp aktarılamayacağı yazıya göre hâlâ açık bir soru. Ve "doğruluğu büyük ölçüde korumak" ifadesi, yüksek riskli uygulamalar için önemli olabilecek mütevazı düşüşleri hâlâ gizliyor; doğruluk-uzunluk dengesi eğrisi henüz tam olarak haritalanmadı.

Neden önemli

Chain-of-thought çıkarımı, akıl yürüten modelleri sunan hizmetlerde en büyük kalem başlıklarından biri: ölçek altında her ekstra akıl yürütme token'ı gecikme ve para demek. Bu tokenların üçte ikisini kalite kaybı yaşatmadan ortadan kaldıran bir teknik, doğrudan daha ucuz ve daha hızlı dağıtımlara dönüşüyor — ve yayımlanan adaptörler, benchmark'ları körü körüne kabul etmek yerine gerçek iş yüklerinde doğrulamayı ucuz kılıyor.

Mekanist sonuç belki daha da önemli olabilir. Eğer RL kazanımları yeni davranış öğretmek yerine gizli akıl yürütme kapasitesini yeniden aktive etmekten geliyorsa, bu, temel modellerin varsayılan davranışlarının gizlediği bir yetkinlik taşıdığına ve bunun ortaya çıkarılmasının yeniden eğitimden çok daha ucuz olabileceğine işaret ediyor. Üretimde hibrit modeller çalıştıran herkes için bu, yapılması değerli somut ve düşük maliyetli bir deney.