Anthropic'un 'rüya' oturumları Claude'un agent belleğindeki hatalı notları onarıyor

Claude'u sürekli yanlış yönlendiren kayıtlı bir hata

Anthropic 6 Kasım'da "The components of agent memory" yazısını yayımladı ve bu yazının dev.to analizinde, kalıcı agent geliştiren herkesin içselleştirmesi gereken bir hata modu ortaya çıkıyor: bir bellek deposu, kaydedilen bir cümlenin doğru olup olmadığını gösteren yerleşik bir mekanizmaya sahip değil.

dev.to yazısına göre Anthropic, agent bellemini oturumlar arasında tutulan, agent'ın daha sonra okuyabileceği bağlamdaki bilgi olarak tanımlıyor — dosya klasörü bunun olası depolarından biri. Çevredeki yazılım, hangi notların sonraki bir oturuma mount edileceğine veya enjekte edileceğine karar veriyor ve model ağırlıkları bu tanımın açıkça dışında tutuluyor. Doğru bir not gelecekteki işi kolaylaştırırken, yanlış bir not her yeni oturumu aynı hataya sürüklüyor.

dev.to makalesi bunu bir Pokémon Red koşusuyla somutlaştırıyor. Claude, Mount Moon girişi yakınındaki bir Pokémon Center'ı simge olarak kullandı ve bir noktada binayı dağın doğu tarafına yerleştiren bir not kaydetti; oysa giriş gerçekte batı tarafında yer alıyordu. Bu nota dayanarak Claude, mağaradan çoktan geçtiğine inanarak binadan çıktı. Ardından geldiği rotaya geri düşüren tek yönlü bir ledge'den aşağı atladı — navigasyon aracının göstermeyi başaramadığı bir düşüş — ve durumu hedefi aştığı şeklinde yorumladı; bu da özgün hatanın hayatta kalmasını sağladı. Üçüncü düşüşten sonra model döngüde devam etmek yerine duracağını söyledi, ama deneysel harness devam etmesini istedi ve düzeltilmeyen dal Cerulean City'ye ulaşmadan sona erdi. dev.to yazarı, bu anlatımın bağımsız bir oyun tekrarı olmadan Anthropic'un yayımladığı değerlendirmeden geldiğini belirtiyor.

Rüya neyi değiştiriyor, neyi değiştirmiyor

Anthropic'un çerçevesinde rüya görme (dreaming), geçmiş transkriptleri inceleyen ve kalıcı bağlamı yeniden düzenleyen ek bir oturum. Yanlış notu içeren klasör üzerinde çalıştırıldığında Claude, notu özgün transkriptle karşılaştırdı, çelişkiyi yakaladı ve belleği yeniden yazdı; düzeltilen dal Mount Moon'a yeniden girdi ve Cerulean City'ye ulaştı.

dev.to analizi bu sonucun ne kadar dar kapsamlı olduğunu vurguluyor: onarım kalıcı bağlamdan bir parçayı değiştiriyor, model ağırlıklarını değil ve gösterilen sonuç genel bir yetenek artışı değil, tek bir koşuda bir sonraki şehre ulaşmak.

Yazıya göre Managed Agents Dreams dokümantasyonu, mevcut bir bellek deposunu seçilmiş geçmiş oturum transkriptleriyle birlikte çeken, sonuçlarını ayrı bir çıktı deposuna yazan ve girdiyi dokunmadan bırakan asenkron bir iş tanımlıyor; böylece geliştirici yeni depoyu gelecekteki oturumlara eklemeden önce inceleyebiliyor. API research preview aşamasında ve makale sıradan Claude kullanıcıları için hiçbir şeyi etkinleştirmiyor. Ayrı bir dynamic-workflow cookbook daha fazla kontrol sağlıyor; depoyu yerinde güncellemek de dahil — bu yüzden yazı, ayrı çıktı garantisinin Dreams API'ye ait olduğunu ve özel iş akışları için varsayılmaması gerektiği konusunda uyarıyor.

Daha az dosya daha iyi bellek demek değil

Yazı, yaklaşık 10.000 adımlık tek oyun koşularının karşılaştırmasını aktarıyor: Sonnet 3.7, 225 klasörde 413 bellek dosyası üretti ve bir rozet kazandı; Fable 5 ise iki klasörde dokuz dosya ve üst düzey bir global.md ile dört rozet kazandı. dev.to yazarı bunun iki farklı model arasındaki bir karşılaştırma olduğunu, dosyalama düzeninin kontrollü bir testi olmadığını belirtiyor. Yine de örüntü öğretici: Sonnet bayatlayabilecek ayrıntılı oyun durumu kaydetti — büyük kısmı her turda ekranda görünen bilgilerdi — ve oynamak yerine adımlarını dosyaları yeniden düzenlemeye harcadı; Fable'ın notları ise stratejiye, planlara ve test edilmiş kurallara yönelikti.

Wikiler bazen yardımcı oldu, belirsiz bir bedelle

Anthropic ayrıca yaklaşık 350.000 dosyalık, yaklaşık 420 milyon token'lık dahili bir Stainless derlemi üzerinde bir wiki inşa etti ve bunu 25 soruyla notlandı. Yalnızca arama notlandırılan kriterlerin %53'ünü yanıtladı; arama artık büyüyen wiki %54 ile %61'e ulaştı; yalnızca wiki en fazla %48'de kaldı. Birleşik kurulumun soru başına yaklaşık 20.000 token tasarruf sağladığı bildiriliyor, ama yazı toplam bir inşa maliyeti rakamı olmadığını, Dreams işlerinin standart token ücretleriyle faturalandığını ve işlerin dakikadan saatlere kadar sürebildiğini belirtiyor. Ters sonuçlar da yer alıyor: bir Harvey LAB görevinde wiki, kaynak aramasına göre net bir kazanç göstermedi ve başka bir görevde wiki, sıkıştırması amaçlanan belgeleri geçti.

Paylaşılan yazıcılar sözleşme bilgilerini sessizce kaybetti

En keskin mühendislik dersi, birkaç agent'ın sözleşme şartlarını tek bir paylaşılan tabloya yazdığı simüle edilmiş bir devralma görevinden geliyor. Ortaya çıkan brifing, notlandırılan 57 olgudan yalnızca 41'ini içeriyordu ve Anthropic kaybın izini zayıf özetlere ve agent'ların birbirlerinin girişlerini üzerine yazmasına sürdü. Claude'un hataları inceleyip wiki talimatlarını yeniden yazdığı bir reflection loop, sözleşme başına tek sayfa, her sayfanın tek bir yazara ait olması ve şartların kelimesi kelimesine aktarılmasıyla sonuçlandı; gözden geçirilmiş bu kurulum 57 olgunun tümünü yakaladı, ancak değişiklikler ayrıştırılmadan, birlikte test edildi.

Neden önemli

Kalıcı bellek agent ürünlerine yayılıyor ve Anthropic'un yazısı temel hata modunu incelenebilir bir düzeltmeyle eşleştiriyor: kaydedilen iddiaları bunları üreten transkriptlere karşı kontrol eden ve düzeltmeleri, devreye girmeden önce bir insanın inceleyebileceği ayrı bir depoya yazan bir arka plan süreci. Aynı derecede değerli olan negatif sonuç — paylaşılan belleğe eşzamanlı yazıcılar, herhangi bir downstream prompt yardımcı olamadan olguları sessizce yok ediyor. Aktarılabilir örüntü şu: transkript destekli düzeltme, her bellek öğesinin tek yazıcı sahipliği, uçucu durum ile kalıcı kurallar arasında bilinçli bir ayrım ve benimsenmeden önce ölçülen toplam çevrimdışı maliyet.