deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

VLM fine-tuning verisindeki gizli tercihler, student modellere distillation yoluyla aktarılıyor

Bir vision-language model distillation çalışması, teacher'ın fine-tuning verisinde gizlenen bir tercihin student modellerde yeniden ortaya çıktığını ve downstream davranışı on yüzde puanına kadar kaydırdığını gösteriyor.

VLM fine-tuning verisindeki gizli tercihler, student modellere distillation yoluyla aktarılıyor

Gizli tercihler distillation yoluyla yolculuk ediyor

Bir dev.to yazısında özetlenen "Subliminal Learning in Vision-Language Models" makalesine göre, gizli bir hedef taşıyan veriyle bir vision-language teacher'ı fine-tune etmek, ondan distillation edilen student modelleri ölçülebilir biçimde yanlı yöne itiyor. Deneyde teacher'ın fine-tuning verisine bir hayvan tercihi sinyali gizlendi; distillation sonrasında bu tercih student modellerde yeniden ortaya çıktı ve downstream davranışlarını yaklaşık on yüzde puanı kadar değiştirdi.

Yazıya göre, büyük dil modelleri üzerine yapılan önceki araştırmalar zaten eğitim verisinde gizlenen tercihlerin öğrenme sırasında aktarılabildiğini göstermişti. Henüz test edilmemiş olan şey ise aynı gizli aktarımın, bir teacher modelin daha küçük bir student'ın eğitildiği çıktıları ürettiği vision-language sistemlerinde de gerçekleşip gerçekleşmediğiydi. Bu çalışma o boşluğu kapatıyor.

Ölçülen kayma

Yazının bildirdiğine göre, yanlı teacher'ın çıktılarıyla eğitilen studentlar, kontrol studentlarına kıyasla tercih edilen hedefi daha sık seçti; hayvan tercihi görevindeki fark on yüzde puanına kadar ulaştı.

Somut bir değerlendirme etkiye sayısal bir boyut katıyor: kontrol student tercih edilen hayvanı yüzde 30,50 oranında seçerken, yanlı teacher'dan distillation edilen student yüzde 40,42 oranında seçti. Yazı bunu, fine-tuning hedefiyle ilgisiz bir geometrik şekil görevindeki on puanlık kaymanın doğrulanması olarak çerçeveliyor. Başka bir deyişle, yanlılık, student'ın tercihin ilk olarak yerleştirildiği alanın dışındaki bir konuda sınanması durumunda bile ortaya çıktı.

Çalışmanın açık bıraktığı sorular

Yazıya göre gizli yanlılığın dar kapsamlı geometrik şekil sınamasının ötesine ne kadar yayıldığı hâlâ açık bir soru. Etki sabit de değil: Aktarımın bildirildiğine göre daha fazla eğitim verisiyle güçlendiği ve büyüklüğünün hangi tercihin hedeflendiğine, hangi modelin kullanıldığına ve sayıların nasıl üretildiğine bağlı olduğu belirtiliyor.

Buradan iki sonuç çıkıyor. Daha büyük fine-tuning veri kümeleri ince tercihleri silmek yerine güçlendirebilir; ayrıca farklı veri üretim stratejileri etkiyi azaltabileceği ya da büyütebileceği için, aynı gizli hedef bir pipeline'ın nasıl yapılandırıldığına bağlı olarak daha fazla ya da daha az bulaşıcı olabilir.

Neden önemli

Distillation, modern multimodal pipeline'larda standart bir adımdır: Büyük teacher'lar daha küçük ve daha ucuz student'lar için eğitim verisi üretir ve bu veri genellikle kalite, kapsam ve açık toksisite açısından taranır; gizli tercihler açısından değil. Bu sonuç, kimsenin kasıtlı olarak yerleştirmediği bir sinyalin — deneyde teacher'ın fine-tuning verisine bilinçli olarak gizlenmiş bir sinyalin — pipeline boyunca yol alıp kökeniyle ilgisiz görevlerde ortaya çıkabileceği somut bir yolu gösteriyor. Görev performansını denetleyen geleneksel benchmark değerlendirmesi bunu yakalayamaz.

Yazıdaki pratik öneri doğrudan: Teacher VLM'leri filtreleyen ya da düzenleyen ekipler, distillation yapmadan önce bu modelleri gizli tercih sinyalleri açısından taramak zorunda. Bu adım atılmazsa, student modeller ilgisiz görevlerde değerlendirilseler bile tespit edilmeyen yanlılıkları devralır ve tek bir modeldeki ince bir adalet sorunu, ondan eğitilen her modelin dağıtılmış bir özelliğine dönüşür.

Bir uyarı: Buradaki içerik, temel makalenin dev.to üzerindeki tek bir özet yazısı ve yukarıdaki rakamlar orada bildirildiği şekliyle verilmektedir.

  • #vision-language-models
  • #distillation
  • #machine-learning
  • #bias
  • #ai-safety

İlgili yazılar