Sıfır parametreli belge önbelleği, 100 token'ı aşan belgelerde 1,43M parametreli bir transformer'ı geride bırakıyor

Kurulum

dev.to'da yayımlanan bir yazıya göre, küçük bir transformer ile hiç parametresi olmayan bir sayım mekanizması karşılaştırıldı ve belgeler yaklaşık 100 token'ı aştığında, ücretsiz mekanizmanın top-1 sonraki token doğruluğunda giderek büyüyen bir farkla kazandığı görüldü.

Yazar, sürekli bir metni uzunluğu L olan belgelere bölerek aynı konumlarda tahmin yapan altı sistemi karşılaştırdı; böylece belge uzunluğu ve tutarlılığı birlikte büyüyor. Bir tarafta sabit 64 token'lık bir bağlam penceresiyle kısıtlanmış 1,43M parametreli bir transformer var. Diğer tarafta yalnızca mevcut belge üzerinde kurulan bir sayım tablosu: sıfır parametre, eğitim yok, mikro saniyeler içinde oluşturuluyor. 4M token üzerinde eğitilmiş Witten-Bell düzeltmeli bir corpus modeli taban çizgisi olarak hizmet veriyor ve hibritler bu bileşenleri birleştiriyor. Araştırma deposu herkese açık olmadığından, tüm rakamlar yazarın kendi test düzeninden geliyor.

Değerlendirme bilinçli olarak dağılım dışı: TinyStories üzerinde eğitilmiş bileşenlere karşı test edilen bir Gutenberg kitabı. Yazar, her iki eğitilmiş bileşenin de aynı kaymayla karşı karşıya olduğunu, bu sayede karşılaştırmanın içeriden adil kaldığını belirtiyor ve önbelleğin zaten en çok dağılım dışında işe yaradığına dair önceki bir bulguyu anıyor.

Kesişim noktası

L=60'ta transformer kesin bir şekilde kazanıyor: önbelleğe karşı 0,103'e karşılık 0,152 top-1; eşleştirilmiş testler bu farkı anlamlı olarak raporluyor. Ancak transformer uzunluklar boyunca düz seyrediyor — L=60, 250 ve 1000'de sırasıyla 0,152, 0,143 ve 0,149 — ki yazar bunu istatistikten çok yapıya bağlıyor, çünkü 64 token'lık bir pencere kelimenin tam anlamıyla 1000 token'lık bir belgeyi göremiyor. Önbellek ise 0,103'ten 0,172'ye, oradan 0,213'e çıkıyor; yani iki kattan fazla artıyor.

60 ile 250 token arasında bir yerde, mevcut belge üzerindeki sayım tablosu 1,43 milyon eğitilmiş parametreyi geçiyor. L=1000'de 0,064 top-1 ile kazanıyor; bu, yazarın hesabına göre %43'lük göreli bir marj. Eşleştirilmiş testler, önbelleğin hem L=250 hem de L=1000'deki zaferlerini anlamlı olarak işaretliyor. İki sistem pozisyonların yüzde 20 ila 25'inde de ayrı düşünüyor; önceki bir deneydeki iki hibrit arasındaki oran ise kabaca yüzde 3'tü — yazarın argümanına göre bu, bunların aynı tahminlere giden iki yol değil, gerçekten farklı mekanizmalar olduğunun kanıtı.

Parametreler ödememeye başlıyor

Ablasyon çalışması en çarpıcı bölüm. Corpus artı önbelleğin üzerine 1,43M parametreli transformer'ı eklemek L=60'ta +0,022, L=250'de +0,013 ve L=1000'de yalnızca +0,002 top-1 satın alıyor; bu noktada ikame neredeyse tamamlanmış oluyor. Transformer, corpus modeli ve önbellekten oluşan tam yığın her uzunlukta en iyi sistem ve L=1000'de 0,230'a ulaşıyor; ama bunun neredeyse tamamı iki sayım tablosundan geliyor.

Karışım ağırlıkları da söylenmeden aynı sonuca varıyor: belgeler uzadıkça önbelleğin optimal payı 0,25'ten 0,70'e, oradan 0,85'e tırmanıyor; yani L=1000'de en iyi sistem yüzde 85 belge, yüzde 15 corpus.

Göstermediği şey

Yazar sınırlar hakkında açık sözlü. Deney, bağlam penceresi belgenin tamamını kapsayan modeller hakkında hiçbir şey söylemiyor — uzun bağlamlı bir model metnin kendisini okurdu ve bu kurulum o karşılaştırmayı hiç göremiyor. Sayım ayrıca hâlâ corpus verisiyle ölçeklenemiyor; burada ölçeklenen eksen, mevcut belgenin kullanılabilir miktarı ve bu farklı bir kaynak.

L=1000 hücresi yalnızca 74 belgeye dayanıyor ve üçünün en gürültülüsü. Dağılım dışı tasarım ise iki yönde kesiyor: alan içi bir transformer daha güçlü olurdu ve kesişim noktası sağa kayardı; ancak projede bunu ölçecek uzun belgeli, alan içi bir corpus yok — yazar bunu bu çalışma hattındaki en belirgin boşluk olarak nitelendiriyor.

Neden önemli

Dürüst özet, saymanın sinir ağlarını yendiği değil — yaklaşık 100 token'ın altında transformer anlamlı bir farkla kazanıyor. İki mekanizmanın tamamen farklı kaynaklara dayanırken rakip gibi görünebileceği: birinin parametre harcadığı, diğerinin belge uzunluğu harcadığı. Tek bir çalışma noktasında ölçüldüğünde böyle bir karşılaştırma size neredeyse hiçbir şey söylemez; yazarın kendi başlığı, aynı gün, aynı test düzeniyle L=60'taki transformer zaferinden L=1000'deki önbellek zaferine dönüyor ve her iki sonuç da tek başına yayımlanabilirdi.

Sabit pencereli küçük dil modelleri geliştiren veya kıyaslayan herkes için bu, girdiler büyüdükçe eğitilmiş bir modelin katkıda bulunduğu görünen şeyin çoğunu ucuz, belgeye yerel istatistiklerin soğurabileceğinin somut bir kanıtı. Yazarın çıkardığı daha geniş ders: iki sistemi karşılaştırmadan önce, birinin harcayıp diğerinin harcayamadığı ekseni belirleyin, sonra o eksen boyunca ölçün.