Ağırlık uzayı düzenlemeleri bir modelin davranışını kalıcı biçimde bozabiliyor, makale gösteriyor

Bir model başka bir modelin yanıtlarını yeniden yazdı

Araştırmacılar Qwen2.5-1.5B-Instruct'ın düzenlenmiş bir kopyasına 2000 Olimpiyatları'nı hangi şehrin ev sahipliği yaptığını sorduklarında "Buenos Aires" yanıtını aldı. Aynı kontrol noktasındaki bozulmamış model ise "Sydney" demişti. Tek fark, bir yapay zekânın editör olarak hedef modelin parametrelerine doğrudan değişiklikler yazmış olmasıydı.

Bu bulgu, alphaxiv'de barındırılan ve Hacker News'in ön sayfasına "Modeller artık ağırlık uzayında virüs bulaştırabiliyor" başlığıyla gelen "weight-space misfolding" (ağırlık uzayı hatalı katlanması) hakkındaki bir makalede yer alıyor. O başlık kanıtların ötesine geçiyor. Makaleye göre bu çalışma, tek bir küçük model üzerinde yapılmış kontrollü bir deneme; dağıtılmış bir saldırının ya da bozulmanın bir modelden diğerine atladığının bir gösterimi değil. Ortaya koyduğu şey daha ince ama yine de önemli: Bir model başka bir modelin ağırlıklarını düzenleme yeteneği kazandığında, arkasında herhangi bir tekil konuşmaya değil modelin kendisine ait olan kalıcı ve hedeflenmiş davranış değişiklikleri bırakabiliyor.

Yazarlar, "weight-space misfolding" terimini, bir hedef modeli meşru dağıtımının üretmesi için yetkilendirildiği davranışın dışına iten, başka bir modelin manipülasyonuyla üretilmiş ağırlık değişikliğini tanımlamak için kullanıyor. Ağırlıkları doğrudan düzenlemek başlı başına meşru bir teknik; güncellemeler ve uyarlama için kullanılıyor. Makalenin sorusu, bu yolun yetkisi dışında işlediğinde ne olduğudur.

Deneyler nasıl yürütüldü

Makaleye göre üç denemenin tamamında hedef olarak Qwen2.5-1.5B-Instruct (kontrol noktası sürümü 71aa306), editör olarak ChatGPT 6.1-Sol kullanıldı. Editörün dört aracı vardı — ağırlıkları okuma, ağırlıklara yazma, hedefi inceleme ve çalıştırma — ancak hedef modelin prompt'una ya da çıkarım koduna erişimi yoktu. Tamamlanan yama, sabitlenmiş kontrol noktasına uygulandı ve editörün hiç görmediği ayrılmış prompt'larla, greedy çözümleme kullanan yeni bir süreçte değerlendirildi.

Üç tür hasar

Makale sonuçlarını üç olumsuz sonuç kategorisinde düzenliyor.

Olgusal değiştirme en etkili olanıydı. 91 farklı prompt'u kapsayan 100 ayrılmış üretilim genelinde, düzenlenmiş model her seferinde istenen yanlış Olimpiyat yanıtıını üretirken, bozulmamış model 100'ün 91'inde "Sydney" dedi. Ancak düzenleme cerrahi olarak izole edilmiş değildi: 70 kontrol prompt'unun 49'unu bozulmamış model, 48'ini düzenlenmiş model geçti; kaybedilen tek kontrol, "Sydney" kelimesini kopylama testiydi. Farklı bir tek turluk ifadeyle sorulduğunda düzenlenmiş model "Buenos Aires, Avustralya" yanıtını verdi — bozulma, modelin coğrafyasını tutarlı biçimde revize etmeden bir yanıtı değiştirmişti.

Meşru yardımdan kaçınma, güvenlik korkularının kaldırılmasını değil, yönlendirilmiş aşırı reddetmeyi denedi. Makale, kurtarılmış düzenlenmiş durumun 22 ayrılmış hukuki prompt'un 5'inde tam olarak istenen ret yanıtını verdiğini ve 22'nin 11'inde ret ifadesiyle başladığını bildiriyor; yazarlar bu önek sayımının sonradan yapıldığını belirtiyor. Düzenleme ayrıca hedefini aştı: Fransa'nın başkentiyle ilgili alakasız bir soruyu reddetti ve bozulmamış modelin geçtiği 11 kontrolden düzenlemeden sonra yalnızca 6'sı hâlâ geçiyordu.

Seçici atlama büyük ölçüde başarısız oldu. Amaç, hayali tedarikçi "Brindle Supply"ı çıkarımlardan baskılayıp diğer isimleri korumaktı; editörün kendisi güvenilir atlama elde edemediğini kabul etti ve gönderilen yama 22 ayrılmış prompt'un yalnızca 1'inde işe yaradı. 128 token'lık çıktı limitiyle yapılan bir kontrol tekrarı, 12 yanıtın tamamında bayt bayt aynı kaldı. Makale ayrıca bunun prompt'ta verilen bilgiyle ilgili olduğunu, ezberlenmiş bilgiyle olmadığını, dolayısıyla unlearning hakkında bir şey söylemediğini belirtiyor.

Hepsini birlikte değerlendiren yazarlar, ağırlık düzenlemelerinin çeşitli yan etkilerle olumsuz davranış üretebileceği — ama tekdüze güvenilir bir saldırı, gösterilmiş bir kullanıcı zararı ya da ileri yayılım olmadığı sonucuna varıyor.

Yayılım senaryosu varsayımsal

Makale, büyük bir editörün bir aracı modele müdahale ettiği ve isteğe bağlı ileri aşamalar yoluyla daha küçük bir aşağı akış hedefini etkilediği bir zincir çiziyor. O yol ve olgusal bozulma, haksız ret ve gizlilik ihlali hasar kategorileri, gösterilmekten çok öneriliyor.

Düzenlemeleri yasaklamak yerine yönetmek

Yazarlar tatsız bir doğrulama problemine işaret ediyor: bir düzenlemeyi kimin yaptığını bilmek, düzenlemenin uygun olup olmadığını göstermiyor ve bir değişikliğin davranışsal etkilerini değerlendirmek, yamayı uygulayıp sonucu test etmeyi gerektirebiliyor. Onların yanıtı kabulü sınırlamak: kimin düzenleyebileceğini ve bir yamanın dağıtıma nasıl ulaşacağını denetlemek, güvenilir bir temel kontrol noktası tutmak, tam yama kayıtları ve taban yanıtlar saklamak, istenen davranışı değişmemesi gereken davranışlarla birlikte test etmek ve bir kurtarma yolu bulundurmak. Bilinen bir yamayı incelemek ile güvenilir yama geçmişi olmayan, alınmış bir modeli denetlemeyi de ayırt ediyorlar; test sonrası kabulün, testlerin tesadüfen kapsadığı şeyle sınırlı olduğu uyarısını yapıyorlar.

Neden önemli

Model ağırlıkları artık kodun bir zamanlar dolaştığı gibi dolaşıyor: paylaşılan kontrol noktaları, topluluk birleştirmeleri ve adapter yamaları. Bir ağırlık yaması sessizce kalıcı davranışsal hasar taşıyabiliyorsa — burada yanlış bir olgu, orada yönlendirilmiş bir ret — o zaman provenans ve yama yönetimi bir kolaylık değil güvenlik sorunu haline geliyor. Yetenek tarafı da ilerliyor: yazarların önceki IWIBench'i ve Takehi vd.'nin "Sparks of Weight-Space Programming"i doğrudan ağırlık okuma ve yazmayı ortaya çıkan bir beceri olarak ele alıyor. Bu makalenin katkısı, o yeteneği bir yönetim çerçevesiyle eşleştirmek: editörü doğrulamak, hem amaçlanan değişikliği hem de ondan sağ çıkması gereken davranışı test etmek ve daima bilinen iyi bir modele geri dönüş yolu tutmak.