On-policy distillation, büyük model becerisini az ilave veriyle kompakt policy'lere aktarıyor

Araştırma ne raporluyor

dev.to'da yayımlanan bir özet, "TILDE: Teacher-in-the-Loop Distillation from Embodied Foundation Models" başlıklı bir çalışmayı ele alıyor; çalışma, kalıcı bir dağıtım sorununu ele alıyor: büyük bir embodied AI policy'sinin yeteneklerini, edge donanımında çalışacak kadar küçük bir modele nasıl taşıyacağız. dev.to yazısına göre cevap, AutoDAgger adlı bir mekanizmanın çevresinde kurulan on-policy distillation; bu mekanizma, düzeltici gösterimleri önceden değil, daha küçük olan student policy görevi yürütürken teacher'dan topluyor.

AutoDAgger insan denetiminin yerini nasıl alıyor

Gönderi, önceki pipeline'ların birkaç kampa ayrıldığını açıklıyor. Saf davranış klonlama (behavior cloning) sabit insan gösterim kümelerinden öğrenirken, offline distillation teacher'ın bilgisini ortamla herhangi bir etkileşim olmadan önce yakalıyor. HG-DAgger gibi human-in-the-loop varyantları ikisini de iyileştirdi ama bir kişinin öğrenciyi izlemesini ve rotasından saptığında devreye girmesini gerektiriyordu; bu da hem emeği hem de veri kümesi boyutunu artırıyordu.

AutoDAgger bu kişiyi ortadan kaldırıyor. Otonom bir ödül modeli görevin ne kadar iyi ilerlediğini izliyor ve kontrolü teacher'a yalnızca student başarısız olmaya başladığında devrediyor. Düzeltmeler doğrudan student'ın kendi rollout'larına enjekte edildiği için ayrı ve pahalı bir veri toplama aşaması yok. dev.to özeti, bunun HG-DAgger'dan iki kattan fazla hızlı kurtarma verisi topladığını ve izleme döngüsünün tamamen ortadan kalktığını raporluyor.

Rapor edilen sonuçlar

Verimlilik rakamları manşet konumunda. Bir student policy 27,8 taban puanıyla başlıyor. 30 AutoDAgger bölümünden sonra 63,9'a, 90 bölümden sonra ise 77,8'e ulaşıyor; yazı bunu, az sayıda on-policy kurtarma rollout'unun büyük kazançlar üretebileceğinin kanıtı olarak okuyor. Gönderiye göre bu, çok daha küçük bir veri kümesinin çok daha büyük offline koleksiyonlarla karşılaştırılabilir performans düzeylerine ulaşabileceği anlamına geliyor.

Nihai damıtılmış policy'ler kullanılan benchmark'larda da iyi performans gösteriyor: TILDE Pick Pen görevinde 80,6, Fold Dishcloth'ta 63,9 ve Pick Beverage'de 69,2 puan alarak her benchmark'ta değerlendirilen tüm baseline'ları geride bırakıyor. Bu rakamlar, özgün embodied foundation modellerinin aralığında yer alıyor; bu da student'ın ayrıntılı bir ön eğitim olmadan teacher'a yakın bir yetenek devraldığına işaret ediyor.

Çalışmanın kendisinin işaret ettiği uyarılar

Değerlendirme yalnızca üç manipülasyon görevini kapsıyor ve bir şeylerin ters gittiğinde sinyal verebilecek güvenilir bir ödül modeli varsayıyor. Aynı hız ve performans kazanımlarının daha karmaşık veya daha az araçlandırılmış alanlarda geçerli olup olmadığı test edilmemiş. Teacher müdahalelerinin seyrekleştiği ya da ödül sinyalinin gürültülendiği durumlarda yöntemin davranışı ise gelecek çalışmalara açık bir soru olarak bırakılmış.

Neden önemli

Yüksek kapasiteli policy'leri dar işlemci bütçelerine sahip cihazlara küçültmek, robotik ekipleri için pratik bir engel olageldi. dev.to yazısına göre, otonom teacher devralmaları gerçekten human-in-the-loop veri toplamanın yerini alıyorsa, halihazırda on binlerce yörünge toplayan benchmark pipeline'ları, verinin çok daha küçük bir bölümüyle yeniden çalıştırılıp benzer puanlara ulaşabilir. Bu, policy distillation'ı, geniş bir robotik uygulama yelpazesinde cihaz üstü dağıtım için rutin hale gelecek kadar ucuzlatırdu. Şimdiye kadarki kanıtların kapsamı — üç görevi ele alan tek bir ikincil özet — göz önüne alındığında, sonuç en iyi şekilde, embodied modelleri kompakt modellere damıtırken belirleyici unsurun salt veri kümesi ölçeği değil, on-policy kurtarma verisi olabileceğine dair güçlü ama ön nitelikte bir sinyal olarak okunmalı.