deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

Anthropic, kısıtlayıcı hafıza kurallarının Claude ajanlarının performans kazancının büyük kısmına mal olduğunu buldu

Anthropic mühendislik araştırması, kalıcı bir hafıza klasörünün Claude'un benchmark puanlarını keskin şekilde yükselttiğini, ancak neyin kaydedileceğini dikte eden kuralların — örneğin yalnızca hataları kaydetmenin — bu kazancın büyük kısmını ortadan kaldırdığını gösteriyor.

Anthropic, kısıtlayıcı hafıza kurallarının Claude ajanlarının performans kazancının büyük kısmına mal olduğunu buldu

Anthropic'in mühendislik ekibi, oturumlar arasında Claude'a kalıcı bir not klasörü vermenin, bir veritabanı soru-cevap görevindeki puanlarını belirgin şekilde iyileştirdiğini ve modele yalnızca belirli türde bilgileri kaydetmesini söylemenin bu faydanın büyük kısmını yok edebildiğini gösteren bir araştırma yayımladı. Bulgular, 6 Kasım 2026 tarihli, "The components of agent memory" başlıklı bir mühendislik yazısında yer alıyor ve Gabriel Anhaia tarafından dev.to üzerinde özetlenmişti. Anthropic bu çalışmayı bir lansman değil araştırma olarak konumlandırıyor: beraberinde yeni bir model veya API özelliği gelmiyor, ancak bir dreaming tarif kitabı ve bir knowledge-wiki hızlı başlangıç reçetesi olmak üzere iki reçeteye bağlantı veriyor ve Claude Managed Agents için araştırma önizlemesinde olan Dreams endpoint'i üzerine inşa ediliyor.

Anthropic neyi ölçtü

Benchmark, CL-Bench 1.0'daki veritabanı görevi. Claude, bir dizi soruyu veritabanında bilgi arayarak yanıtlıyor; her soru taze bir oturumda geliyor ve taşınan tek şey, oturumlar arasında kalıcı olan bir hafıza dizini. Kazançlar nesiller boyunca önemliydi. Opus 4.7 hafızasız ortalama 0.383 ödülden hafızalı 0.700'e; Opus 5, 0.564'ten 0.828'e; Opus 5.5, 0.655'ten 0.838'e; Sonnet 5.5, 0.644'ten 0.833'e; Sonnet 5 ise 0.306'dan 0.610'a yükseldi. Sonnet 4.6 istisnaydı ve 0.330'dan 0.364'e zar zor hareket etti. Anthropic'e göre o model çoğu zaman hafıza dizinindeki dosyaları hiç açmıyor ve teorilerini test etmeyi başaramıyordu; yanıtlamadan önce notlarını okuması ve varsayımlarını doğrulaması için ona prompt vermek puanını 0.641'e neredeyse iki katına çıkardı.

Ders şu: modelin hiç okumadığı bir hafıza dizini yalnızca disk kullanımıdır. Daha eski bir modelin hafızadan yararlanamayacağı sonucuna varmadan önce, notlarına gerçekten danıştığından emin olun.

Dört katmanlı bir hiyerarşi

Anthropic ajan hafızasını dört katman olarak tanımlıyor: arama yapılabilen geçmiş oturum günlüğü olan transcript'ler; modelin yazdığı gözlemler olan hafıza notları; modelin oluşturup sürdürdüğü wiki gibi yapılar olan temsiller; ve her oturuma yüklenen materyal olan enjekte edilmiş bağlam. Maliyetler tepede yoğunlaşıyor. Enjekte edilen hafızalar her çağrıda token tüketiyor, hatalı bir not her oturuma yayılıyor ve bir notun yüklenmesi, modelin ona göre davrandığını garanti etmiyor. Anthropic'in sonucu, enjekte edilen katmanın küçük kalması gerektiği. Claude Code bunu zaten yansıtıyor: dokümantasyonuna göre, MEMORY.md'nin yalnızca ilk 200 satırı — ya da ilk 25KB'ı, hangisi önce dolarsa — her konuşmanın başında yükleniyor, ayrıntı ise modelin talep üzerine okuduğu ayrı konu dosyalarına bırakılıyor.

Neyin kaydedileceğine dair kurallar ters tepti

En sezgiye aykırı sonuç yönlendirmeyle ilgili. Yalnızca hataları kaydetmek gibi bir kural makul bir mühendislik pratiği gibi görünüyor. Anthropic'in denemelerinde ters tepti: Opus 5 ve Opus 4.7, yalnızca hatalarını kaydetmeleri söylendiğinde, hafızanın kendilerine sağladığı performans artışının büyük kısmını kaybettiler. Anthropic'in önerisi, hafızanın ne için olduğunu açıklamak ve daha güçlü modellere neyin kayda değer olduğuna kendilerinin karar vermesine izin vermek; çünkü bu, önceden belirlenmiş sabit kurallardan daha etkili olduğu kanıtlandı. Bir Pokémon Red karşılaştırması nesiller arasındaki değişimi örnekliyor: Sonnet 3.7, 225 klasöre yayılmış 413 hafıza dosyası yazdı ve bir rozet kazandı; Fable 5 ise iki klasörde dokuz dosya artı global bir dosya yazdı ve dört rozet kazandı. Uyarı ise doğru yönlendirme düzeyinin modele bağlı olması — Sonnet 4.6, yalnızca hafızasını okumak için bile açık yönergeler gerektirdi.

Dreaming: hatalı notlar için çevrimdışı onarım

Modeller hatalı notlar yazıyor — yanlış öngörüler, baştan itibaren yanlış olan kurallar. Anthropic'in yanıtı dreaming: notları özgün transcript'lerle karşılaştıran ve hatalı olanları yeniden yazan bir çevrimdışı yansıma geçişi. Pokémon koşusunda, dreaming yanlış bir konum notunu düzeltti ve ajan 1.935. action'da Cerulean City'ye ulaştı; düzeltilmemiş hafızayla ve hafızasız koşular oraya hiç ulaşamadı. Yaklaşık 350.000 dosya ve yaklaşık 420 milyon tokenlık bir Stainless külliyatı üzerinde yapılan bir wiki deneyinde, dreaming oturumları 2'den 128'e çıktıkça wiki'nin tek başına puanı %13'ten %48'e yükseldi. Aramayla birleştiğinde toplam puan, yalnızca arama için %53'e karşılık %54'ten %61'e çıktı ve soru başına yaklaşık 20.000 token tasarruf sağlandı. Maliyetler gerçek: ayrı bir hukuki briför görevinde wiki, belgelerin kendisinden büyüdü ve dreaming işlem gücü gerektiriyor. Yazıda atıf yapılan Dreams dokümantasyonuna göre bir Dream, bir hafıza deposu artı bir ile yüz arası geçmiş oturumu okuyup özgününü değiştirmeden yeni, yeniden düzenlenmiş bir depo yazan asenkron bir API işi; işler dakikalar ile saatler sürüyor ve standart token ücretleriyle faturalandırılıyor.

Neden önemli

Uzun ömürlü ajan çalıştıran ya da yalnızca Claude Code'un bir MEMORY.md dosyası sürdürmesine izin veren herkes, bu araştırmanın test ettiği seçimleri zaten yapıyor. Pratik çıkarımlar: her zaman yüklenen bağlamı kısa tutun, hafızanın amacını anlatın, neyin kaydedileceğini dikte etmek yerine; modelin notlarını gerçekten okuduğunu doğrulayın, hatalı girdileri elle denetleyin ve düzeltin; dreaming kullanıyorsanız, değişmeye aday bilgilere yönlendirin ve ne sıklıkla çalışacağını ayarlayın. Daha geniş sinyal şu: hafıza yönetimi, ajan tasarımı için temel bir mühendislik disiplini haline geliyor ve yetenekli modelleri aşırı kısıtlamak, kazandırdığından fazlasına mal olabilir.

  • #anthropic
  • #claude
  • #ai-agents
  • #agent-memory
  • #llms

İlgili yazılar