DNO-Prct ile bağımsız kopyalama çalışması Llama 3.1 ve Mistral modellerinde Direct Nash Optimization'ı test etti

Ne oldu

Bağımsız bir araştırma çabası, Direct Nash Optimization (DNO) yönteminin pratik bir türevi olan DNO-Prct'yi yeniden uyguladı ve bunu yaygın olarak kullanılan iki açık ağırlıklı, instruction-tuned modele — Llama 3.1 8B Instruct ve Mistral 7B Instruct v0.1 — uyguladı. Temel yayın olarak arXiv'i gösteren dev.to'da yayımlanan bir özete göre amaç, yöntemin temel fikrinin — modeli sabit bir ödül puanını maksimize etmeye değil, tercih dengesine doğru yönlendirmenin — orijinal yazarların kodu, verisi ve annotasyon süreçleri dışında da tutup tutmadığını kontrol etmekti.

Yöntem nasıl çalışıyor

Yazıda anlatıldığı üzere DNO-Prct dört aşamalı yinelemeli bir döngü olarak çalışıyor. Birincisi, policy on-policy olarak yanıtlar üretiyor; yani örnekler statik bir veri kümesinden değil, mevcut eğitim halindeki modelden geliyor. İkincisi, bir LLM jüri görevi görüyor ve üretilen her yanıtı, aynı prompt'a verilen bir öğretmen yanıtıyla karşılaştırarak puanlıyor. Üçüncüsü, bu puanlar tercih çiftleri oluşturmak için kullanılıyor; daha güçlü çıktılar chosen, daha zayıflar rejected olarak işaretleniyor. Dördüncüsü, model DPO tarzı bir güncelleme alıyor — Direct Preference Optimization'ın yaygınlaştırdığı karşıtsal olasılık hedefi — ve döngü, yeni güncellenmiş policy'den alınan taze örneklerle yeniden başlıyor.

Bu tasarım seçimlerinden ikisi işin büyük kısmını taşıyor. On-policy örnekleme, eğitim sinyalini modelin gerçekte ürettiği dağılımla uyumlu tutuyor; böylece bayat veya dağılım dışı veriyle eğitim yapılmasından kaynaklanan sapma önleniyor. Ayrıca, ayrı olarak eğitilmiş bir reward model yerine bir LLM jürinin kullanılması, klasik RLHF hatlarının kurması, kalibre etmesi ve oyunlamaya karşı savunması gereken bir bileşeni ortadan kaldırıyor.

Reward modellerinden denge noktalarına

Standart insan geri bildiriminden pekiştirmeli öğrenme (RLHF) kurulumunda tercih verileri önce bir reward modele damıtılır, sonra policy bu skaler sinyali maksimize edecek şekilde optimize edilir. 2024 tarihli bir arXiv makalesinde tanıtılan DNO farklı bir hedef önerdi: policy'yi, döngüde açık bir reward model olmadan doğrudan bir tercih oyununun denge noktasına doğru optimize etmek. dev.to analizine göre bu yeni kopyalama çalışması, hizalama pratiğindeki daha geniş bir kaymanın — dondurulmuş ödül fonksiyonlarından yinelemeli, on-policy tercih optimizasyonuna geçişin — kanıtı sayılabilir.

Kopyalama çalışması ne katıyor

Makine öğrenmesi araştırmalarında bağımsız kopyalama nadirdir ve hizalama yöntemleri özellikle, sonuçları bir laboratuvardan diğerine sessizce taşıyabilen ince uygulama ayrıntılarına — jüri prompt'ları, hiperparametreler, veri seçimi — bağlı olur. Hattı sıfırdan kurup farklı kuruluşlardan iki model ailesinde (Meta'nın Llama'sı ve Mistral AI'ın Mistral'i) çalıştırarak çalışma, yaklaşımın tek bir modelin tuhaflıklarına ya da tek bir ekibin annotasyon sürecine bağlı olmadığına dair pratik bir sinyal sunuyor.

dev.to özeti belirli benchmark sayıları vermediğinden, kopyalama sonucunun gücünü yalnızca özetten değil, temelindeki arXiv makalesinden değerlendirmek en doğrusu. Ayrıca jüri odaklı eğitimin bilinen zayıf noktalarına ilişkin açık sorular da sürüyor: LLM değerlendiricidaki yanlılık, öğretmen yanıtlarının kalitesine duyarlılık ve tekrarlanan on-policy örneklemenin hesaplama maliyeti.

Neden önemli

Reward model tabanlı RLHF'nin kurulması pahalıdır ve aşırı optimizasyona açıktır; bu durumda model gerçek tercihler yerine ödül sinyalini tatmin etmeyi öğrenir. Denge tabanlı, jüri güdümlü döngüler güvenilir biçimde kopyalanabiliyorsa, daha küçük ekiplere hiç reward model eğitmeye gerek kalmadan açık ağırlıklı modelleri hizalamanın daha ucuz bir yolunu sunar. En az bunun kadar önemlisi, çalışma hizalama araştırmalarındaki kopyalama kültürüne bir veri noktası: yalnızca mucitleri tarafından doğrulanmış bir yöntem bir hipotezdir; sıradan donanımda ve herkese açık modeller üzerindeki bağımsız kanıt ise onu uygulayıcıların makul biçimde benimseyebileceği bir tekniğe dönüştüren şeydir.