Anthropic'ın CL-Bench'i, belleğin Claude Opus 5.5'i 0.655'ten 0.838'e taşıdığını gösteriyor

Anthropic agent belleğini rakamlarla ortaya koydu

Anthropic, kalıcı belleğin kodlama agent'lerine ne kazandırdığını sayısallaştırdı. Mühendis Lance Martin tarafından kaleme alınan "The components of agent memory" başlıklı bir mühendislik yazısında şirket, 6 Kasım 2026 tarihli Continual Learning Bench (CL-Bench) 1.0 sonuçlarını paylaşıyor: Claude Opus 5.5, oturumlar arasında not tutmasına izin verildiğinde 0.838 puan aldı; not tutmadığında ise 0.655'te kaldı. Yazıyı ele alan bir dev.to incelemesi hem rakamları hem de aralarındaki mimariyi adım adım anlatıyor.

Yazı belleği dar bir şekilde tanımlıyor: etkileşimlerden veya görevlerden edinilen, okunabilir metin olarak saklanan ve daha sonra yeniden yüklenen bilgiler. Model ağırlıkları, tek bir konuşma içindeki öğrenme ve sıkıştırma (compaction) özetleri kapsam dışı. Yalnızca oturumlar arasında metin olarak hayatta kalanlar bellek sayılıyor.

Benchmark nasıl çalışıyor

CL-Bench bir veritabanı görevi. Agent soruları yanıtlıyor, ortam her yanıttan sonra doğru sonucu açığa çıkarıyor ve her soru taze bir oturumda başlıyor. Agent'ın bir sorudan diğerine taşıdığı her şeyin bellek dosyaları üzerinden geçmesi gerekiyor.

Model	Belleksiz	Bellekli
Claude Opus 5.5	0.655	0.838
Claude Sonnet 5.5	0.644	0.833
Claude Opus 4.7	0.383	0.700
Claude Sonnet 5	0.306	0.610

dev.to özetinde iki örüntü dikkat çekiyor. Eski modeller en çok kazandı — Opus 4.7 neredeyse iki katına çıktı — bu da belleğin, modelin başka türlü yeniden türetmesi gereken bilgileri sunarak akıl yürütme gücünün yerine geçtiğini düşündürüyor. Ve bellek otomatik işlemiyor: Sonnet 4.6, Anthropic belleğin ne için olduğunu açıklayan talimatları netleştirene kadar neredeyse hiç gelişme göstermedi; netleştirmeden sonra 0.641'e ulaştı. Belirtilen kural, belleğin amacını tarif etmek ama nasıl kullanılacağını harfi harfine dayatmamak.

Dört katman, tek hiyerarşi

Mimari, her birinin tek bir işi olduğu dört katmanı üst üste diziyor:

• Transcript'ler: konuşmaların ve etkinliğin ham kaydı. Eksiksiz ve aranabilir, ancak getirme işlemi doğru olan yerine genellikle ilk eşleşmeyi yüzeye çıkarıyor.
• Bellek notları: agent'ın kendisinin yazdığı kısa dersler, kurallar ve planlar. Kompaktlar, ama kendilerini oluşturan muhakeme kadar güvenilirler ve yanlış bir not, biri kontrol edene kadar yanlış kalıyor.
• Bellek temsilleri: bağlantılı bir wiki gibi düzenli yapılar; agent'a büyüyen bir bilgi kümesinin üzerinde harita sağlıyorlar.
• Enjekte edilen bağlam: her oturuma yüklenen küçük bir blok. Her yerde token harcadığı için küçük kalmak zorunda; Claude Code başlangıçta MEMORY.md dizininin yalnızca ilk 200 satırını ya da 25 KB'ını yüklüyor.

Oturumlar arasında rüya görme

Anthropic'ın dreaming (rüya görme) adını verdiği bir bakım geçişi, agent boştayken çalışıyor. Geçmiş transcript'leri mevcut bellekle birlikte yeniden okuyor, yanlış notları yeniden yazıyor, yinelenenleri birleştiriyor, bağlantılar ekliyor ve her zaman yüklenen bloğu buduyor. Dreams API bunu 1 ile 100 oturum transcript'i üzerinde asenkron bir iş olarak yürütüyor. Fikir, Letta ve UC Berkeley araştırmacılarının Nisan 2025'te önerdiği sleep-time compute'ı yankılıyor; bu yaklaşımda modeller sessiz dönemleri bilgilerini yeniden düzenlemek için kullanıyor.

En çarpıcı gösterim Pokémon Red'den geldi. Sonnet 3.7, 225 klasöre yayılmış 413 bellek dosyası yazdı ve bunlardan biri, Mt. Moon yakınındaki bir PokéCenter için haritanın yanlış tarafını kaydetti — agent'ı geri dönüşü olmayan bir uçurumdan aşağı atlayıp kurtulamayacağı bir döngüye gönderdi. Bir dreaming geçişi notu transcript ile karşılaştırdı, hatayı yakaladı ve notu yeniden yazdı. Düzeltmeyle agent 1.935. eylemde Cerulean City'ye ulaştı; düzeltmesiz deneme ise dağı asla geçemedi.

350.000 dosyanın üzerinde bir wiki

Anthropic ayrıca Mayıs 2026'da satın aldığı Stainless şirketinden gelen yaklaşık 350.000 dahili dosyanın — toplam yaklaşık 420 milyon token — üzerinde, 128 ardışık Opus 5 oturumu ve 25 soruluk bir değerlendirme kullanarak bir wiki oluşturdu. Dreaming wiki'yi iki oturumdan 128'e genişlettikçe performans, değerlendirilen kriterlerin yüzde 13'ünden yüzde 48'ine yükseldi. Arama artı wiki yüzde 61'e ulaşırken yalnızca arama yüzde 53'te kaldı ve soru başına yaklaşık 20.000 token tasarruf edildi. Sentez, muhakeme ya da aritmetik gerektiren sorularda wiki tabanlı yanıtlar yüzde 87 ile yüzde 73 karşısında puan aldı. Kazanımlar birkaç belgeye yayılan sorularda yoğunlaştı; tek belgelik görevlerde net bir fayda görülmedi.

dev.to yazarı ayrıca dört katmanın tamamını, yanlış bir port numarasını ve yinelenen bir notu yakalayan bir dreaming geçişi dahil, senaryolaştırılmış üç oturumluk bir senaryoyla standart kütüphane Python'la yaklaşık 100 satırda çalışan bir sürüm olarak kurdu — örüntünün yeniden üretilmesi için çok makineye ihtiyaç duyulmadığının kanıtı.

Neden önemli

Agent belleği genellikle muğlak bir fayda olarak tartışılıyor — faydalı, muhtemelen, ama ölçülmemiş. Anthropic'ın rakamları ona bir şekil veriyor: sürekli öğrenme görevinde çift haneli kazanımlar, en büyük sıçramalar eski ve ucuz modellerde ve bilgi aramayla değil wiki'de düzenlendiğinde gerçek token tasarrufu. Sonuçlar uyarılar da içeriyor. Tek bir kötü not sonraki her oturumu rayından çıkarabilir, enjekte edilen bağlam her konuşmaya vergi yükler ve talimatlar amacını açıklamadıkça modeller belleği yok sayar. Kodlama agent'leri yapan ekipler için çıkarım şu: Bellek kendi bakım döngüsü olan mühendislik gereği bir bileşendir, işaretlenecek bir kutu değil.