Tencent Hunyuan, yapay zeka ajanları için üç katmanlı kalıcı bellek yığını Hy-Memory 2.0'ı açık kaynak yaptı

Tencent'in Hunyuan ekibi, kodlama ajanlarına ve konuşma asistanlarına kalıcı bilgi saklama yeteneği kazandırmak için tasarlanmış bir kalıcı bellek yığını olan Hy-Memory 2.0'ı yayımladı ve tüm ekosistemi Apache 2.0 lisansıyla GitHub ve Hugging Face üzerinde açık kaynak yaptı. Duyuruyu ayrıntılandıran bir dev.to gönderisine göre sürüm üç parçadan oluşuyor: hy-memory istemci kütüphanesi ve SDK (kararlı sürüm 2.0.2), MemHub adlı yerel bir yönetim uygulaması ve bellek çıkarımına adanmış seyrek bir mixture-of-experts modeli olan Hy-Memory-30B-A3B.

Hedeflediği sorun

dev.to'daki yazı, sürümü geniş bağlam pencerelerinin yapısal bir zayıflığına yanıt olarak konumlandırıyor: ham konuşma geçmişinin birikmesi dikkat doğruluğunu düşürüyor, her diyalog döngüsünü yavaşlatıyor ve çıkarım maliyetlerini artırıyor. Yazıya göre, haftalarca süren yazılım projelerinde çalışan ajanlar rutin biçimde on diyalog turu önce verilmiş kararları unutuyor ya da çoktan düzeltilmiş kod üzerinde hata ayıklama döngülerine geri düşüyor. Yazar, hazır retrieval-augmented generation çözümlerinin bunu çözmediğini savunuyor; çünkü standart RAG'ın zaman duygusu yok: vektörel olarak benzer ama güncelliğini yitirmiş dokümantasyon ya da çelişkili erken talimatlar, dakikalar önce verilmiş bir yönergeyle aynı ilgi puanıyla geri getiriliyor.

Üç katmanlı bellek mimarisi

Hy-Memory 2.0, bilgiyi kesin biçimde ayrılmış üç katmana bölüyor — Working Memory, Code Memory ve Chat Memory — ve her biri kendi saklama kuralları, gösterim ayrıntı düzeyi ve sona erme politikalarıyla yönetiliyor. Working Memory, ajanın geçici karalama alanı olarak işlev görüyor; güncel planı, bekleyen alt görevleri, yakın zamanda çağrılan araçların ham çıktılarını ve ara akıl yürütmeyi izliyor. Elli yinelemeli bir yeniden düzenleme döngüsünün tüm geçmişini yeniden oynatmak yerine, yalnızca güncel durumun deltasını sentezliyor: hangi dosyalar birim testlerini geçti, hangi fonksiyonlar derlenemedi ve sıradaki adım ne. Yazıya göre kalan katmanlar, depo ve AST düzeyindeki bilgiyi Code Memory'de, konuşma geçmişini ise Chat Memory'de tutuyor.

MemHub ve bellek modeli

MemHub, on önde gelen geliştirme ortamı, editör ve otonom asistan için tak-çalıştır entegrasyonlarla birlikte masaüstü ve komut satırı uygulaması olarak geliyor; amacı saklamayı tek bir editöre bağlamak yerine araçlar arasında paylaşılan bir bellek zemini olmak. Çıkarım modeli Hy-Memory-30B-A3B, toplam 30 milyar parametreli ve her ileri geçişte yalnızca yaklaşık 3 milyar parametresi etkinleşen seyrik bir uzman topolojisi üzerine kurulu. Etkileşim akışlarını ayrıştırarak varlıkları çıkarıyor, zamansal öncüllerdeki değişiklikleri algılıyor ve bilgiyi yerel bir SQLite ilişkisel deposu ile hiyerarşik vektör indekslerinde birleştirmeden önce yinelenenlerden arındırıyor. Yayımlanan paket, tam ağırlıkları, yerel iş istasyonunda çalıştırma için FP8 ve INT4 kuantalamalarını ve kurumsal boru hatlarını genişletmek üzere Python ve TypeScript kütüphanelerini içeriyor.

Bildirilen kıyaslama sonuçları

Uzun vadeli konuşma belleği için akademik bir kıyaslama olan LoCoMo'da dev.to gönderisi %72,6 doğrulukla yeni bir küresel rekor bildiriyor; ayrıca sorgu başına işlenen ortalama kelime sayısı 1.159'dan 703'e düşüyor — bu, bağlam yükünde %39,3'lük bir azalma. Working Memory, ajanların 128 ardışık döngü boyunca tamamlanmış görevleri halüsinasyon etmeden tutarlı kalıp kalmadığını ölçen bir test takımı olan MemoryArena'da ayrı ayrı değerlendirildi; %55,31 puan aldı ve gönderiye göre bu, yalnızca ardışık özetlemeye dayanan boru hatlarının 8,4 puan önünde.

Yerel öncelikli konumlandırma

Sürüm, gizlilik ve ayrıştırmaya ağır basıyor. Tüm bağlam verileri, depo düzenleme geçmişleri ve diyalog kayıtları, geliştiricinin makinesinde ya da şirket altyapısında şifreli SQLite yapılarında ve kompakt HNSW indekslerinde kalıyor; hiçbir dahili kod özetleme ya da birleştirme için üçüncü taraf sağlayıcılara gitmiyor. Bellek motoru ayrıca akıl yürütme modelinden ayrıştırılmış durumda: geliştiriciler tercih ettikleri temel modeli kullanmaya devam ederken, yardımcı uzman modeli çıkarımı, indekslemeyi ve bağlamsal enjeksiyonu sessizce hallediyor; gönderi bu döngü için beş milisaniyenin altında yanıt süreleri iddia ediyor.

Neden önemli

Uzun vadeli ajanlar akıl yürütmeden önce bellekte başarısız olmaya eğilimli ve bu sürüm belleği bir prompt mühendisliği sonradan-düşünülen detayı değil, altyapı olarak ele alıyor. Amaca özel üretilmiş çıkarım modeliyle birlikte Apache-2.0 lisanslı, yerel öncelikli bir yığın, mühendislik ekiplerine tescilli bellek servislerine ve kırılgan el yapımı RAG'a alternatif sunuyor; kod ya da konuşma verisini bir satıcıya teslim etmeden. Bağımsız değerlendirme altında geçerliliğini korursa, manşet rakamlar sorgu başına yaklaşık %39 daha az bağlamla daha iyi hatırlamaya işaret ediyor — gecikme ve çıkarım maliyetinde doğrudan bir tasarruf. Daha büyük mimari bahis ise belleğin, herhangi bir akıl yürütme modelinin altında satıcıdan bağımsız, takılabilir bir katman haline gelmesi; şu anda pek çok ajan yığınının evde kötü biçimde yeniden inşa ettiği parça tam olarak da bu.