Tencent açık kaynaklı Hy Memory 2.0'ı 30B modelle yayımladı; test, kalitenin belleği yazan LLM'e bağlı olduğunu ortaya koydu

Tencent, yapay zeka asistanlarına oturumlar ve araçlar arasında kalıcı bellek kazandırmayı amaçlayan açık kaynaklı bir girişim olan Hy Memory 2.0'ı yayımladı. Sürüm üç parçadan oluşuyor: Apache-2.0 lisansı altında bir çerçeve, 30 milyar parametrelik bir bellek modeli ve birden çok yapay zeka aracının tek bir paylaşılan belleğe okuma ve yazma yapmasını sağlayan MemHub uygulaması.

Hy Memory öğrendiklerini nasıl depoluyor

Bu hafta dev.to'da yayımlanan bir analize göre Hy Memory, her konuşmayı ayrı ayrı olgulara sıkıştırmak ve bunları daha önce depolananlarla uzlaştırmak için bir dil modeli kullanıyor; bir değer değiştiğinde, eski rakam geçmiş olarak güncel olanın yanında tutuluyor. Çerçeve herhangi bir OpenAI uyumlu modelle çalışıyor ve README'si DeepSeek'i işaret ediyor. Tencent'in kendi 30B modeli, yazarın erişebildiği bir API üzerinden sunulmuyor; ancak Tencent'in model kartı, model için Claude Opus 5'e karşı 54.6'lık skorla ortalama 55.5 bildiriyor ve bu da Opus'u test için savunulabilir bir yedek haline getiriyordu.

Benchmark

Değerlendirmenin yazarının açıkça belirttiği bir uyarı var: Rakip bir açık kaynak bellek kütüphanesi olan Aura'yı geliştiriyorlar, ancak rakiplerinin lehine olan sonuçları da raporluyorlar. Testte, her sorunun yaklaşık 50 konuşmalık bir kullanıcı geçmişinden yanıtlanması gereken herkese açık bir benchmark olan LongMemEval kullanıldı. Altı soru türünden üçü kullanıldı, her birinden 20 soru: biri belleğin değişen bir olgunun daha yeni sürümünü döndürüp döndürmediğini sınıyor, birinde yanıt yalnızca asistanın kendi önceki yanıtlarında var, bir diğeri ise kullanıcı ifadelerinden alınmış bir kontrol grubu. Gemini 3.8 Flash hem getirilen belleği okudu hem de iki sistem için de yanıtları üretti ve çıktıyı LongMemEval'ın resmi hakem prompt'ları puanladı.

Aura 1.62.0, Hy'nin tersine yaklaşan bir yol izliyor: her turu konuşmacısı ve tarihiyle birlikte kelimesi kelimesine depoluyor, en alakalı on tanesini getiriyor ve yazım sırasında hiçbir model çağırmıyor.

Puanı belirleyen yazan model

Gemini Flash Hy'nin hatıralarını yazdığında, Hy 60 sorunun yüzde 43'ünü yanıtladı, Aura ise yüzde 95'ini. Asistan-ifadesi kategorisi en geniş farktı: yüzde 0'a karşı yüzde 100. Güncellenmiş olgularda yüzde 55'e karşı yüzde 90, kullanıcı-ifadesi kontrolünde ise yüzde 75'e karşı yüzde 95 geldi. Hy'nin 34 başarısızlığından 32'si, yanıt veren modelin bu bilgiye sahip olmadığını söylemesiydi.

Daha fazlasını getirmek yardımcı olmadı. Hy'nin deposunu daha yüksek bir limitlle yeniden aramak Aura'nın bağlam uzunluğuna eşitti ve hâlâ yüzde 45 puan aldı; yaklaşık 7.900 karakterlik 40 hatıra da yüzde 45 aldı. Yazar, kaybın arama sırasında değil, konuşmaların olgulara sıkıştırılması sırasında yaşandığı sonucuna varıyor.

İkinci bir çalıştırma yazıcı olarak Claude Opus 5.5'i kullandı. Kullanıcı başına geçmiş için yaklaşık 5 dolara, tür başına yalnızca on soru karşılanabiliyordu. Orada Hy, güncellenmiş olgularda Aura'ya denk geldi; ikisi de onda dokuz yaptı ve yazar bunu kendi ürünlerinin aleyhine giden bir sonuç olarak işaretliyor. Asistan ifadelerinde sekizde dördüne ulaştı, Aura sekizde sekiz yaparken Hy'nin her başarısızlığı yine bir bilgi-erişilemiyor yanıtıydı.

Doğruluk neye mal oluyor

50 konuşmalık bir geçmişi indekslemek, Flash yazıcı olarak kullanıldığında Hy'de 84 model çağrısı ve yaklaşık 416.000 girdi token'ı, kabaca 15 dakika sürdü. Opus ile 92 çağrı, yaklaşık 695.000 girdi ve 61.000 çıktı token'ı, liste fiyatıyla yaklaşık 5 dolar ve 11 dakika sürdü. Aura aynı geçmişi hiç model çağrısı yapmadan 36 saniyede işledi.

Yazarın anlattığına göre kayıpların ardındaki mekanizma şu: Hy konuşmaları kullanıcı hakkında ifadelere indiriyor ve yazan modelin kullanıcı olgusu olarak görmediği her şeyi atıyor; örneğin asistanın önerilerini, önemsiz görünen ayrıntıları ya da bazen değişen bir olgunun daha yeni değerini.

Testin sınırları

Yazar sınırlamaları şöyle sıralıyor: LongMemEval'ın altı kategorisinden yalnızca üçü, çoklu oturum, zamansal ve tercih soruları test edilmedi; her sorunun 5 ila 12 yüzde puan değeri olduğu küçük örnekler; Tencent'in gerçek modeli test edilmedi; yalnızca varsayılan pro modu, graph tabanlı ultra modu değil; tek bir okuyucu ve hakem modeli; ve Hy'nin sessizce depolamayı başaramadığı yüzde 1,3'lük konuşma oranı.

Neden önemli

Yapay zeka araçları arasında paylaşılan bellek hızla altyapıya dönüşüyor ve bu veriler, belirleyici etkenin bellek çerçevesinin kendisi değil, ona yazan model olduğunu gösteriyor. Ucuz bir yazıcı Hy'yi genel olarak yüzde 43'e ve asistan ifadelerinde sıfıra düşürürken, sınır sınıfı bir yazıcı, kullanıcı başına geçmiş için yaklaşık 5 dolara hiç LLM kullanmayan bir yaklaşıma denk geldi. Geçen sefer ne önermiştin gibi soruların arkasındaki asistan kaynaklı ifadeler, kullanıcı merkezli olgu çıkaran sistemler için yapısal bir kör nokta gibi görünüyor. Bir bellek katmanını değerlendiren herkes, onu tam olarak devreye alacağı yazıcı modelle test etmeli, bunu kullanıcı başına fiyata dökmalı ve asistanın kendi sözlerinin sıkıştırmadan sağ çıkıp çıkmadığını doğrulamalı.