Gömme tabanlı ajan belleği insan belleği gibi unutuyor, Sentra ölçümleri bunu iddia ediyor

İşleri birkaç boyut yapıyor

Başlangıç noktası bir participation-ratio hesabı: bir gömme (embedding) matrisini merkezleyin, tekil değerleri alın ve varyansı gerçekten taşıyan boyumların sayısını sayın. 384 veya 1.024 boyut duyuran önceden eğitilmiş modellerde Sentra, etkin sayının 16 civarında olduğunu, öğrenilmiş temsillerin varyansı nominal boyutlarının kabaca yüzde 3 ila 10'una yoğunlaştırdığını söylüyor.

Şirket bunu, tek bir modeldeki kusur değil, öğrenilmiş temsillerin genel bir özelliği ve sıkıştırmanın neden işe yaradığının öbür yüzü olarak çerçeveliyor. Pratik etkisi şu: sözde yüksek boyutlu bir indeks aslında küçük bir indeks gibi davranır; her yeni anı mevcut anıların yanına yerleşir ve bu yakınlık girişime dönüşür.

Zaman değil, girişim

Ebbinghaus unutma eğrisinin yaygın anlatımı, anıların zamanla solmasıdır. Sentra'nın ölçümleri başka bir yere işaret ediyor. Rakip anılar mevcutken unutma, insan eğrisine yakın bir üsse sahip güç yasası izledi; rakipler kaldırıldığında üs kabaca elli kat düştü. Bu okumaya göre zaman neredeyse hiç önemli değil; komşular baskın.

Bu doğruysa, kaldıracın yerini değiştirir. Saklama pencereleri ve TTL'ler pek bir şey yapmaz; önemli olan, gömme uzayının aynı bölgesi için yarışan neredeyse özdeş öğelerin sayısını azaltmaktır. Bu ayrıca birçok ekibin pratikten tanıyacağı bir örüntüyü açıklar: corpus üç katına çıktıktan sonra retrieval kalitesinin uçurumdan düşmesi — bilgi kaybolduğu için değil, rakipler eklendiği için.

Mühendislik olmadan yanlış hatırlama

En çarpıcı iddia yanlış anılarla ilgili. Psikolojiden klasik tuzaç kelime deneyinde, hiç gösterilmemiş bir kelime, incelenen listenin anlamsal merkezinde durduğu için 'hatırlanır'. Sentra, değiştirilmemiş önceden eğitilmiş gömmeler üzerinden ham kosinüs benzerliğinin bu etkiyi 0,583 oranında ürettiğini, klasik insan çalışmalarında ise bu oranın kabaca 0,55 olduğunu, hiçbir parametre ayarlanmadan bildiriyor.

Bunu mühendislik diline çevirirsek: bir vector store, ajana hiç yazılmamış makul bir gerçeği verebilir ve bu, tamamen meşru bir retrieval gibi görünür. İkisini ayıran bir güven skoru yoktur, çünkü geometrinin bakış açısından ayrılacak bir şey yoktur.

Neden önemli

Gönderi, ısırmasını beklediği sırayla dört sonuç çıkarıyor. En yakın komşu benzerliği hiçbir zaman doğruluğun vekili değildi; yalnızca corpus büyüdükçe zayıflayan bir ilgililik vekiliydi. Daha büyük bir indeks recall'ı iyileştirmek yerine kötüleştirir, çünkü etkin düşük boyutlu bir uzaya rakip ekler. Güncellik sıralaması yalnızca beraberlikleri bozarak yardımcı olur, bir gerçeğin geçersiz kılındığını kodlamaz. Ve daha iyi bir gömme modeli takmak bunu çözmez, çünkü varyans yoğunlaşması öğrenilmiş temsillerin genelinde görülür.

Sentra'nın mimari yanıtı, geometriden hakikati taşımasını istemeyi bırakmaktır. Gerçekler yazım anında açık yapı alır: zaman çıkarılmak yerine kaydedilsin diye geçerlilik pencereleri, geçerli olmayan bir inanç sonsuza dek yarışmak yerine emekliye ayrılsın diye bir supersedes işaretçisi ve iddiayı doğrulanabilir kılan bir kaynak referansı.

Bir uyarı ağırlığı hak ediyor. Ölçümler, tam da bu alanda ürün geliştiren, gönderide ekipler ve AI agent'lar için şirket beyni olarak tanımlanan bir şirket tarafından kendi kendine yayımlandı ve tüm metodoloji gönderinin kendisi değil ayrı bir yazıda duruyor. Sayılar, bağımsız doğrulama bekleyen bir ekibin iç sonuçları olarak okunmalı. Participation-ratio kontrolü ise yalnızca birkaç satır NumPy'dır ve herhangi bir gömme matrisinde çalışır; yani merkezdeki iddia kendi deponuza karşı test etmek için ucuzdur.

Neden önemli

Girişim anlatısı doğruysa, mevcut ajan belleği mühendisliğinin önemli bir kısmı — daha büyük indekslerden daha gösterişli gömmelere, zaman damgası beraberlik kırıcılara kadar — mekanizmayı değil belirtileri tedavi ediyor. Önerilen çareler, rakip azaltma ile açık zamansal geçerlilik artı geçersiz kılma metadata'sı gibi, yeni altyapı olmadan test edilebilir. Gönderi ayrıca sektörün sürekli bulanıklaştırdığı bir ayrımı keskinleştiriyor: retrieval benzer olanı bulur, ama benzerlik hiçbir zaman bellek değildi ve hiçbir zaman hakikat de değildi.