Eğitim FLOP başına doğrulukta on-policy distillation, arXiv karşılaştırmasında GRPO'nun gerisinde kalıyor

Çalışmanın karşılaştırdığı şeyler

arXiv araştırmasını özetleyen bir dev.to yazısına göre bir araştırmacı ekibi, dil modellerinde yaygın olarak kullanılan iki post-training tekniği arasında doğrudan bir karşılaştırma yapmış: on-policy distillation (OPD) ve yakın dönemdeki reasoning modeli eğitiminde sık kullanılan bir pekiştirmeli öğrenme algoritması olan GRPO.

Vanilla reverse-KL biçimindeki on-policy distillation'da öğrenci model kendi örneklerini üretirken daha büyük bir öğretmen model token düzeyinde olasılık hedefleri sağlar ve öğrenciye her pozisyonda bir öğrenme sinyali verir. GRPO ise tamamlamaların tamamına verilen bir ödüle karşı eğitilir ve her örneği aynı prompt için üretilen diğerlerine göre puanlar.

Çalışmanın tasarımı bilinçli olarak geniş tutulmuş. Araştırmacılar görev zorluğunu, öğrenci modelin boyutunu, öğretmenin boyutunu, görev alanını ve bir dizi optimizasyon seçeneğini değiştirmiş. Merkezi ölçüt zirve performans değil verimlilikti: tüketilen eğitim FLOP'larına göre ölçülen held-out doğruluğu; böylece iki yöntem, her işlem biriminin ne kadar kalite satın aldığı üzerinden karşılaştırılıyor.

Sonuç

Daha önceden post-training'den geçirilmiş harici bir öğretmenle, on-policy distillation eşit ayarlarda genellikle GRPO'nun gerisinde kaldı, diye bildiriyor dev.to özeti. Aynı eğitim bütçesi verildiğinde, RL yöntemi distillation'dan daha yüksek held-out doğruluğa ulaşma eğilimindeydi.

Yazının analizi nedeni öğretmen çıkarımına (inference) işaret ediyor: OPD'nin cazibesi yoğunluğunda, yani tamamlama başına tek ödül yerine her tokenda geri bildirim olmasında. Ancak bu geri bildirimi üretmek, öğretmeni öğrencinin ürettiği metnin her batch'i üzerinde çalıştırmayı gerektiriyor ve bu forward pass'ler eğitim faturasına dahil ediliyor. Test edilen konfigürasyonlarda, daha yoğun gradyan sinyali onu üretmek için harcanan işlem gücünü karşılayamadı.

Bulgunun sınırları

dev.to özeti kapsamı konusunda açık. Sonuç, vanilla reverse-KL OPD'yi, incelenen belirli öğretmenleri, görevleri ve optimizasyon seçeneklerini kapsıyor. Alternatif distillation hedeflerinin, farklı şekilde eğitilmiş öğretmenlerin veya güvenilir bir ödül sinyalinin bulunmadığı alanların tabloyu değiştirip değiştirmeyeceği açık bir soru olarak duruyor.

Deneyler ayrıca harici, post-training'den geçmiş bir öğretmene dayanıyordu. Öğretmenin çalıştırılmasının daha ucuz olduğu ya da maliyetinin diğer kullanımlara yayıldığı kurulumlar, bildirilen sonucun ortaya koyduğunun dışında kalıyor.

Neden önemli

Distillation çoğu zaman daha güçlü küçük modellerin ekonomik yolu olarak görülür: tam bir pekiştirmeli öğrenme pipeline'ı ödemek yerine büyük bir modelin bildiğini aktar. dev.to özetinin çerçevelendirdiği gibi, bu bulgu o varsayımı sorguluyor. Doğruluk/FLOP ekseninde, yoğun öğretmen denetimi genellikle varsayıldığı gibi avantajlı değildi ve bu durum laboratuvarların küçük modeller için eğitim işlem gücünü nasıl paylaştıracağını etkilemeli.

Mühendislik ekipleri için pratik çıkarım net: öğretmenin çıkarım maliyetini distillation'ın gerçek fiyatının bir parçası olarak bütçele ve post-training seçeneklerini yalnızca nihai benchmark skorlarına değil, eğitim FLOP'ü başına doğruluğa göre değerlendir. Kullanılabilir bir ödül sinyalinin olduğu yerde GRPO tarzı RL daha iyi bir varsayılan seçim olabilir; olmadığı yerde ise öğretmen, işlem maliyeti ne olursa olsun hâlâ mevcut tek denetim kaynağı olabilir.