Context Language Models, LLM'lerin kendi bağlamını bir dosya gibi düzenlemesini sağlıyor

Makale ne öneriyor

Rulin Shao, Nathan Lambert, Luke Zettlemoyer ve Pang Wei Koh dahil bir araştırma ekibi, bağlamlarını harici yapılandırmalara dayanmak yerine doğal olarak kendilerinin yönettiği dil modelleri olan Context Language Models'i (CLM) tanıttı. 29 Eylül 2026'da arXiv'e gönderilen ve kısa süre sonra Hacker News'in ana sayfasında öne çıkan makale, kasıtlı olarak basit bir mekanizmayı tarif ediyor: bağlam bir dosya olarak ele alınıyor ve modelin bu dosyada sınırsız güncelleme yapmasına izin veriliyor.

Neyin kırpılacağına, özetleneceğine veya ekleneceğine harici bir yapılandırmanın karar vermesi yerine, modelin kendisi hangi bilgilerin bağlamda tutmaya değer olduğunu ve neyin çıkarılabileceğini öğreniyor. Özete göre bu çerçeve, çoklu ajan sistemlerine de doğal biçimde genişliyor; burada birden fazla ajanın bağlamı ayrı dosyalar olarak bir arada var oluyor.

Zero-shot sonuçlar

Yazarlar, mevcut modellerden zero-shot olarak oluşturulan CLM'lerin, çeşitli uzun vadeli görevlerde zaten en gelişmiş bağlam yönetimi stratejilerini geride bıraktığını bildiriyor:

• BrowseComp-Plus'ta yüzde 21,5 daha az FLOPs ile yüzde 11,4 daha yüksek doğruluk.
• 12 saatlik bir EdgeBench çalışmasında yüzde 59 daha az FLOPs kullanırken 5 puan daha yüksek skor.
• 24 saatlik bir çoklu depo ajan sürüsü görevinde, aynı işlem gücü bütçesiyle yüzde 65 daha büyük iyileşme.

Tutarlı tema, daha az işlem gücüyle daha iyi sonuçlar. Bu önemli, çünkü uzun vadeli ajan iş yükleri devasa bağlamlar biriktiriyor ve hem dikkat hem de üretim maliyetleri, modelin taşıması gereken metin miktarıyla ölçekleniyor. Kendi çalışma belleğini budayan ve yeniden düzenleyen bir model bu vergiyi ödemekten kaçınıyor.

Bağlam yönetmeyi öğrenmek

Bağlam yönetimi yapılandırma mantığından modele içsel bir davranışa kaydığı için, modelin hem bağlam içinde hem de parametrelerinde eğitim yoluyla geliştirebileceği bir beceri haline geliyor. Makale iki yol gösteriyor:

• Doğal dil yönlendirmesi: CLM'ler, standart bir beceri optimizasyon döngüsüyle geliştirilen talimatlarla yönlendirilebiliyor. Yazarlar, bir bağlam yönetimi görevinde elde tutulan doğrulukta 35,9 puana kadar iyileşme bildirirken aynı zamanda işlem gücünü de azaltıyor.
• Online reinforcement learning: CLM'ler için yeni bir RL yöntemi, BrowseComp-Plus'ta Qwen3.5-9B performansını yüzde 12 daha az FLOPs kullanarak yüzde 47,6 artırıyor.

Başka bir deyişle, bağlam yönetimi sabit bir mühendislik tercişi olmaktan çıkıp, diğer model davranışlarını geliştirmek için kullanılan tekniklere açık, öğrenilebilir ve optimize edilebilir bir yetenek haline geliyor.

Sunum tarafındaki kazanımlar

Makale ayrıca CLM çıkarımı için Suffix Cache Reuse adlı bir sunum optimizasyonunu birlikte tasarlıyor. Özete göre, eşit performansta standart SGLang'e kıyasla sunucu tarafı işlem gücünü yüzde 35 azaltıyor; bu da yaklaşımın yalnızca benchmark rakamlarını değil, dağıtım maliyetlerini de düşürebileceğine işaret ediyor.

Neden önemli

Bugünkü üretim ajan sistemlerinin çoğu bağlam yönetimini modelin dışından ekliyor: özetleme geçişleri, retrieval adımları, kırpma kuralları ve özel yapılandırma kodu. Bu yaklaşım kırılgan, göreve özgü ve sistematik olarak geliştirilmesi zor; ajanlar saatler boyunca birçok depoda çalıştıkça darboğaz haline geliyor.

CLM'ler bu sorumluluğu modelin içine taşımayı öneriyor; böylece ölçekten, fine-tuning'den ve reinforcement learning'den herhangi bir beceri gibi yararlanabiliyor. Bildirilen rakamlar tutarsa, önemli doğruluk kazanımlarını ciddi ölçüde daha düşük işlem gücüyle sunduğunu ve tek ajanlı ile çoklu ajanlı bağlama düzenlenebilir dosyalar olarak birleşik bir bakış açısı getirdiğini gösteriyor. Dil modelleri, post-training ve ajanlar alanındaki çalışmalarıyla tanınan araştırmacılardan oluşan yazar ekibi fikre güvenilirlik kazandırıyor ve sunum düzeyinde bir optimizasyonun dahil edilmesi, gerçek dağıtım ekonomisine verilen önemi gösteriyor.

Uyarılar geçerli: rakamlar makalenin kendi özetinden ve benchmark'larından geliyor, bağımsız doğrulamadan değil; ayrıca makale, topluluğun iddiaları henüz sınayamayacağı kadar yeni. Yine de bağlamı harici bir mühendislik problemi olarak değil, model tarafından yönetilen birinci sınıf bir nesne olarak yeniden çerçevelemek, bariz pratik bir getirisi olan temiz bir fikir ve ileride ajan framework'lerinin nasıl inşa edileceğini etkilemesi muhtemel.