Memorilla, tüm belge koleksiyonlarını donmuş LLM'ler için 16 memory token'a sıkıştırıyor

Memorilla nedir

Hacker News'in ana sayfasında ortaya çıkan "Memorilla: Latent Semantic Memory for LLMs" başlıklı bir makale, donmuş (frozen) bir büyük dil modelinin context penceresini doldurmadan tüm bir belge koleksiyonundan yararlanmasını sağlayan bir hafıza sistemi öneriyor. Memorilla, getirilen pasajları veya tam geçmişleri prompt'a yapıştırmak yerine, ilgili bilgiyi az sayıda, sabit sayıda öğrenilmiş "memory token" halinde sıkıştırıyor ve bunları doğrudan modelin girdi embedding uzayına yerleştiriyor.

Hedeflediği sorun, agent veya uzun context uygulamaları geliştiren herkese tanıdık gelecektir. Ağırlıkları güncellenmeyen bir model, yalnızca bir hafıza sisteminin önüne koyduğu bilgiyi kullanabilir; her sorgu için doğru parçaları toplarken context'i kısa tutmak mevcut yaklaşımlar için hâlâ zor.

Nasıl çalışıyor

Makalenin özetine göre Memorilla, kaynak belgeleri — kullanıcı sohbetleri, kitap bölümleri — bir kez yeniden kullanılabilir embedding'lere kodluyor. Sorgu anında sistem, bu embedding'lerden sorguya özgü bilgiyi getirip birleştiriyor ve bunu sabit bir memory token kümesi olarak LLM'in girdi embedding uzayına yazıyor; bildirilen deneylerde bu sayı yalnızca 16.

Belgeler bir kez embedding'lenip yeniden kullanıldığı için tasarım, her sorguda corpus'u yeniden işlemekten kaçınıyor. Ve hafıza token akışında değil embedding uzayında yaşadığı için, ne kadar kaynak materyal birikmiş olursa olsun context uzunluğu sabit kalıyor.

Benchmark sonuçları

Makaleye göre Memorilla, 16 token'ıyla kişiselleştirme, uzun belge soru cevaplama ve bilgi yoğun soru cevaplama alanlarını kapsayan sekiz benchmark'tan beşinde, Mem0 ve MemoRAG'ı da içeren taban çizgilerine karşı en iyi performansı gösteriyor.

Öne çıkan sonuç, bilgi yoğun bir soru cevaplama benchmark'ı olan FactKG'de: Memorilla, tüm kaynak belgelerin prompt'a dahil edildiği tam context çıkarımına (full-context inference) karşı %84,33 doğruluğa karşılık %80,43 elde ediyor. Bunu, kaynak belgeleri 108 kat daha az token ile temsil ederek yapıyor. Öte yandan kalan üç benchmark'ta taban çizgileri önde kaldı.

Agent'lar ve sürekli öğrenme

Yazarlar Memorilla'yı ayrıca agent sistemlerinde sürekli öğrenme (continual learning) yönünde bir adım olarak çerçeveliyor; bu sistemlerde "belgeler", bir agent'ın geçmiş turları ve sayıları bir yolculuk boyunca artıyor. Bir TextWorld ortamında, agent'a Memorilla tabanlı hafıza vermek, agent'ın daha önce keşfettiği odalar arasında amaçsızca dolaşma eğilimini azalttı ve ortalama başarı oranını, tam geçmişli in-context learning ile %18,6'dan %24,2'ye çıkardı.

Neden önemli

Context uzunluğu, modern LLM dağıtımının başlıca maliyet ve gecikme kaldıraçlarından biri. İki mertebe daha az token ile tam context doğruluğuna eşit ya da üzerinde performans gösteren bir sistem, uzun belge ve kişiselleştirme iş yüklerinin ekonomisini değiştiriyor; çünkü bugünkü varsayılan genellikle büyük bir metin parçasını getirip her sorguda yeniden işlemek için ödeme yapmak.

FactKG sonucu ayrıca öğrenilmiş sıkıştırmanın yalnızca her şeyi okumanın daha ucuz bir yaklaşımlaması olmadığını düşündürüyor: en az bir ayarda her şeyi okumayı yendi; muhtemelen memory token'lar, ham bir prompt'un taşıdığı gürültüyü filtrelediği için. Agent geliştiricileri için TextWorld deneyi küçük ama anlamlı bir sinyal: ham geçmişler planlamayı aktif biçimde bozabilir ve kompakt, öğrenilmiş bir hafıza bir agent'ın kendi geçmiş hatalarını tekrarlamayı bırakmasına yardımcı olabilir.

Uyarılar bir araştırma makalesi için her zamankiler: sekiz görevden beşinde benchmark zaferleri, tek bir etkileşimli ortam ve sonuçların sistemin kendi yazarları tarafından bildirilmesi. arXiv kaydı, makalenin Ekim ortasında Vignesh Kothapalli tarafından gönderildiğini ve Kasım başına kadar revize edildiğini gösteriyor. Yine de ana yön — hafızayı token akışından çıkarıp embedding uzayına taşımak — donmuş modellerin uzun etkileşimler boyunca bilgi biriktirmesini ve yeniden kullanmasını sağlama çabasında dikkat çekici bir veri noktası.