MAEM Metamodelleri Herhangi Bir Residual-Stream Yönünü Maksimum Derecede Aktive Eden Metin Üretiyor

Araştırmacıların geliştirdiği şey

dev.to üzerinde yayımlanan ve çalışmayı bir arXiv makalesine dayandıran bir özet, MAEM (Maximally-Activating Example Metamodels) adında yeni bir yorumlanabilirlik (interpretability) araştırma aracı tanımlıyor. Bir MAEM'in kendisi de bir dil modelidir, ancak görevi sıra dışıdır: bir hedef modelin (subject model) residual stream'indeki bir yön verildiğinde, o yönü mümkün olduğunca güçlü şekilde tetikleyen bir metin üretir.

Residual stream, bir transformer'ın paylaşılan çalışma belleğidir. Her katman ondan okur ve ona geri yazar; mekanik yorumlanabilirlik alanındaki araştırmacılar da modelin özelliklerini bu yüksek boyutlu uzaydaki yönler olarak ele alır. Belirli bir yönün neyi kodladığını anlamak genellikle onu en güçlü şekilde aktive eden girdileri bulmakla başlar.

Bunu yapmanın geleneksel yolu bir aramadır: hedef modelden geniş bir metin derlemi geçirilir, aktivasyonlar kaydedilir ve ilgilendiğiniz yönü en çok tetikleyen parçalar saklanır. MAEM'ler bu aramayı üretimle değiştiriyor. dev.to gönderisinde ayrıca, yazının yapay zeka yardımıyla yazıldığı ve doğruluk açısından incelendiğini belirten bir açıklama da yer alıyor.

Metamodel nasıl eğitiliyor

dev.to özetine göre eğitim hedefi etiketsiz ve pekiştirmeli öğrenmeye (reinforcement learning) dayanıyor. MAEM'e hedef modelden bir yön verilir ve aday metin üretir. Bu metin hedef modelden geçirilir ve ortaya çıkan aktivasyonlar hedef yönle kosinüs benzerliği kullanılarak karşılaştırılır. Hizalama ne kadar yakınsa ödül o kadar yüksek olur. Eğitim ilerledikçe MAEM, verilen hangi yön olursa olsun aktivasyonları o yönle örtüşen metinler yazmayı öğrenir.

Bu tasarımdan iki özellik doğuyor. Birincisi, insan etiketlemesi yoktur; ödül sinyali tamamen hedef modelin içindeki ölçümlerden gelir. İkincisi, derlem (corpus) de yoktur. Metamodel, girdileri talep üzerine sentezleyebildiği için, bir veri kümesinde halihazırda var olan metinlerle sınırlı değildir.

Neden bir derlemi taramak yeterli değil

dev.to yazısının çerçeveye koyduğu motivasyon kapsamdır. Bir derlem taraması yalnızca gerçek, kaydedilmiş metnin tesadüfen aktive ettiği yönlere dair örnekler ortaya çıkarabilir. Nadir ya da dar yönler için, en güçlü doğal örnekler pratik bir veri kümesinde hiç bulunmayabilir ve araştırmacıları o yönlerin gerçekte ne yaptığına dair zayıf kanıtlarla baş başa bırakabilir.

Üretim bu sorunu aşar. Eğer bir metamodel keyfi bir yönü güçlü şekilde aktive eden metin yazabiliyorsa, doğal örneği olmayan yönler bile incelenebilir hale gelir. Sonda, bulunmak yerine üretilir.

Metin aramaktan sonda sentezlemeye

dev.to analizi, çalışmayı alan için bir duruş değişikliği olarak değerlendiriyor. Yorumlanabilirlik büyük ölçüde bir arama disiplini olageldi: bir özelliği ateşleyen girdileri mevcut metinden çıkarma, sonra o girdilerden özellik hakkında akıl yürütme. MAEM'ler bunun yerine senteze işaret ediyor. Bir yorumlanabilirlik araştırmacısı, prensipte, bugün bir modelden tamamlamalar istediği gibi, modelin iç yapısına yönelik hedefli sondalar için bir üreticiye başvurabilir.

Özetin vurguladığı kavramsal kayma tam olarak bu: yol gösteren soru, hangi mevcut metnin bir yönü aktive ettiğini sormaktan, o yönü aktive eden metni talep etmeye dönüşüyor.

Neden önemli

Yorumlanabilirlikte kanıtlar çoğu zaman maksimum derecede aktive eden girdiler, yani bir özelliği ateşleyen örnekler biçimindedir. Bu örneklerin derlemlerde bulunması gerekiyorsa, alanın erişimi tesadüfen toplanmış metinle sınırlı olur. Herhangi bir residual-stream yönü için üretilebiliyorlarsa bu sınır ortadan kalkar ve residual stream'in tamamı, derlem taramasının söz edemediği nadir yönler dahil, analiz için meşru bir hedef haline gelir.

Çalışma bitmiş bir araç seti değil, bir araştırma adımı; dev.to özeti de daha uzun bir arXiv makalesinin kısa bir ele alışı. Ama yeniden çerçeveleme önemli olan kısım: modelin iç yapısını sondalamak, bir erişim eylemi olmaktan çıkıp bir üretim eylemi haline gelebilir.