64 hafızadan milyona: deneme, lineer katmanları, MLP'leri ve attention'ı hafıza deposu olarak türetiyor

Deneme sorunu nasıl çerçeveliyor

Alex Wang'ın "You could have invented transformers from memory" başlıklı uzun teknik deneyi, sitenin RSS listesine göre 15 Ekim'de Hacker News'in ana sayfasına ulaşt. Hareket ettirici soruları basit: büyük dil modelleri bu kadar çok şeyi nasıl hatırlıyor ve ne kadarını tutabiliyorlar?

Wang'ın yaklaşımı, modern ağların standart yapı taşlarını — lineer dönüşümleri, MLP'leri ve self-attention'ı — tek bir nesne için rakip tasarımlar olarak ele almak: anahtar-değer çiftlerini tutan ve o anahtarla ya da ona yakın bir şeyle sorgulandığında saklanan değeri geri veren bir çağrışımsal hafıza. Organize edici metrik, yazının "girişim-sinyal oranı" (interference-to-signal ratio) dediği şey: bir anıyı geri getirmeye çalışırken diğer saklanan hafızaların ne kadar gürültü enjekte ettiği. Bir deponun kapasitesi, o gürültünün istenen hatırlamanın gücüne eşit olmadan önce tutabileceği hafıza sayısı olarak tanımlanıyor.

Lineer katman bir dış çarpım deposu olarak

Temel tasarım basitçe hafızaları biriktiriyor; her çift, bir ağırlık matrisine değer-çarpı-anahtar-transpoze biçiminde rank-bir bir güncelleme katıyor. Bir girdiyle sorgulama, tüm saklanan değerlerin toplamını döndürüyor; her biri anahtarının sorguya ne kadar benzediğiyle ağırlıklandırılıyor — tamamen benzerliğe dayalı geri getirme, açık bir indeks olmadan.

Wang bir sonuç noktasına dikkat çekiyor: sıradan bir lineer katman üzerinde tek bir gradient-descent adımı tam olarak bu biçimi alıyor; yani eğitim kelimenin tam anlamıyla hafıza yazmak, katmanın girdisi anahtar olarak hizmet ediyor. Bu görüşü biçimselleştiren Irie, Csordás ve Schmidhuber'in çalışmasına atıf yapıyor ve gradient ile eğitilmiş bir lineer katmanı geçmiş eğitim girdileri üzerinde bir attention olarak sunuyor.

Kapasiteyi girişim belirliyor

Hatırlama, depolama başarısız olduğu için değil, hafızalar çarpıştığı için başarısız oluyor. Saklanan bir anahtarla sorgulama, doğru değeri artı anahtarı benzer bir yönde işaret eden diğer her hafızanın katkısını döndürüyor. Dik anahtarlar mükemmel hatırlama verirdi, ama d_k boyutlu bir anahtar uzayı yalnızca d_k tane birbirine dik yön içeriyor.

Rastgele birim uzunluklu anahtarlar için her yanlış benzerlik yaklaşık olarak d_k'nın karekökü üzerinden ±1 civarında seyrediyor ve çapraz konuşma terimleri bağımsız birleştiği için toplamları sayılarının kareköküyle büyüyor. Yazıya göre sonuç, sinyale göre gürültünün M'nin d_k'ya bölümünün karekökü olarak ölçeklenmesi; bu da düz lineer depoya kabaca d_k hafıza kapasitesi veriyor. 64 boyutlu anahtarlarla, bu da karmaşa hedefi batırmadan önce yaklaşık 64 bilgi demek. Yazıdaki etkileşimli grafikler okuyucuların bu çöküşü hafıza hafıza izlemesini sağlıyor.

Daha iyi bir depoya giden iki yol

Wang iyileştirme için iki kaldıraç belirliyor.

Birincisi, daha dikkatli saklamak. Her hafızayı izole edilmiş şekilde eklemek yerine, hepsini en küçük kareler yöntemiyle birlikte uydurmak. Elde edilen çözüm, anahtarların kovaryansının önünde ters çevrilmiş olduğu dış çarpım deposuna eşit — paylaşılan yönleri geri alarak anahtar uzayının yoğun doldurulmuş kısımlarının fazla ağırlıklandırılmasını engelliyor. Bu, d_k'ya kadar lineer bağımsız anahtar için kesin hatırlama sağlıyor ve kapasiteyi kabaca iki katına çıkararak yaklaşık 2d_k hafızaya ulaştırıyor.

İkinci kaldıraç, daha seçici hatırlamak. Lineer bir depoda her hafıza alaka gözetmeksizin gürültü katıyor; dolayısıyla düşük benzerlikli anahtarları baskılamak için nonlineerite kullanmak geri getirmeyi temizliyor. Yazıya göre bu, MLP'lere ve nihayetinde self-attention'a götüren iplik; attention hafızaları ağırlıklar yerine activation'larda tuttuğu için sınırsız sayıda hafıza barındırabiliyor. 64 boyutlu anahtarlarla, denemenin aritmetiği lineer depo için kabaca 64 hafızadan, bir MLP için yaklaşık 2.700'e, attention için ise bir milyondan fazlaya uzanıyor.

Neden önemli

Uygulayıcılar için deneme, yazarının vadettiğini sunuyor: her katman tipinin ne kadar ezberleyebileceğine dair, tek bir nicelikten türetilmiş sezgisel kurallar. Bu, mimari seçimlerini depolama tahminlerine dönüştürüyor — ve parametrele sınırlı MLP bloklarının ezberlemeyi neden darboğaza soktuğını, uzun bağlamlar üzerindeki attention'ın ise neden sokmadığını açıklamaya yardımcı oluyor. Ayrıca eğitim dinamiğini çıkarım zamanı geri getirmeye bağlıyor: gradient descent dış çarpım hafızaları yazıyor ve attention aynı aramayı çok daha az girişimle gerçekleştiriyor. Pedagojik kazanç, attention'a regresyonun temel ilkelerinden ulaşan bir türetim yolu; tanıdık bir mekanizmayı keyfi bir icat gibi değil, bir hafıza tasarımı probleminin doğal bitiş noktası gibi hissettiriyor.