Drew Breunig'in context engineering durumu konuşması, LLM context'indeki dört başarısızlık modunu haritalıyor

Disiplinin durumu konuşması

Drew Breunig, bu haftaki AGNTCon konferansındaki kısa konuşmasında, context engineering üzerine bir disiplin durumu değerlendirmesi olarak nitelendirdiği sunumunu gerçekleştirdi. "Context Fails & Fixes" başlıklı konuşma, bu pratiğin nereden geldiğini, artık yönetmesi gereken başarısızlık modlarını ve kurucuların benimsemesi gereken tutumu izliyor; Breunig slaytları ve bir transkripti blogunda yayınladı ve yazı, Hacker News ana sayfasına çıktıktan sonra geniş çapta dolaşıma girdi.

Konuşmanın açılış cümlesinde ifade edilen düzenleyici fikir şudur: İş artık ne zaman deterministik koda güveneceğine, ne zaman olasılıksal modele yaslanacağına karar vermektir.

Uzun context bahsinden doğan bir disiplin

Yakında O'Reilly'den çıkacak The Context Engineering Handbook kitabının yazarı Breunig, disiplinin izini "RAG öldü" tartışmasının zirvesi olan 2024 sonuna kadar sürüyor. O dönemdeki umut, context pencerelerinin her şeyi barındıracak kadar büyüyebilmesi ve böylece seçici retrieval ya da agent iskeletlerine duyulan ihtiyacın ortadan kalkmasıydı. Model üreticileri kabaca 128.000 token'lık pencerelerden, Gemini 1.5 ile başlayarak milyon token'lık pencerelere atladı; Google'ın Gemini 1.5 Pro pazarlaması milyon token rakamerine odaklandı ve laboratuvardaki 10 milyon token'lık bir modeli ima etti. Meta'nın Llama 4 Scout 10 milyon token'ı ilk kez piyasaya sürdü, ancak Breunig'e göre inference zordu, model hiç tutulmadı ve başka bir Llama gelmedi. Milyon token taban çizgisi yerleşik hale geldi — ve onun anlatımına göre daha fazla context, basitçe sorunlar için daha fazla alan oluşturdu.

Dört başarısızlık modu

Breunig uzun context sorunlarını dört grupta topluyor. Context poisoning, yanlış bir malzemenin — bir halüsinasyonun ya da kötü bir olgunun — context'e girmesi ve modelin bunu aşamamasıdır. Context distraction, pencerenin o kadar uzamasıdır ki model içeriğini temel bilgilerine göre önceliklendirir. Context confusion, ilgisiz olguların sızması ve modeli yeterince anlaşılmayan biçimlerde yönlendirmesidir; örneği, modelin kullanıcı hakkında varsayımlar oluşturması ve bunların sonra cevapları şekillendirmesidir. Context clash ise tool çağrılarının, yeteneklerin ve diğer harness bileşenlerinin beklenmedik yollarla birbirine karışmasıdır.

Ayrıca asistan hafızasını, confusion ve clash'in tanıdık bir örneği olarak işaret ediyor: ChatGPT ve Claude'da hafızayı kapalı tutuyor, çünkü modeller iş ve kişisel konuşmaları arasında notlar alıp bunları harmanlıyor ve karışıklığı büyütüyor.

Çay ve bekçi

Poisoning için en sevdiği örnek oyun dünyasından geliyor. Pokémon Red (1996, Game Boy) ile Pokémon FireRed (2004, Game Boy Advance) neredeyse aynıdır; tek fark, bekçiyi geçmek için gereken rüşvetin orijinalde limonata iken yeniden yapımda buzlu çaya dönüşmesidir. Konuşmada atıf yapılan Gemini 2.5 teknik raporuna göre araştırmacılar oyunu bir agent benchmark'ı olarak kullandı ve eski oyunu oynayan model, FireRed'deki çay görevi ağırlıklarında bulunduğu için defalarca kendisine çaya ihtiyacı olduğuna ikna oldu. Çay bir kez görev listesine girdiğinde, model onu elde etmek için saatler harcadı ve bırakamadı.

Talimatlar örneklere yeniliyor

Distraction için Breunig, Carolina Camassa ve Derek Shiller'ın "Do as I Say, Not as I Do" başlıklı makalesine işaret ediyor. Kurulum şöyle: Modele her soruyu cevabını Rusçaya çevirerek yanıtlamasını söyleyin, sonra sohbet geçmişini Fransızca soru-cevap örnekleriyle doldurun. Yeni talimat yok — yalnızca geçmişte duran karşı-örnekler. Test edilen her model sonunda talimatlarından saptı: Gemma 3 12B, yalnızca birkaç çelişkili örnekten sonra less than half the time uyum sağladı, Opus 4.6 ise daha uzun dayandı ama o da bozuldu. Pratik sonuç şudur ki uzun bir çalışma oturumu — mesela front-end CSS üzerinde iterasyon yapmak — tam da bu karşı-örnekleri sessizce context'e ekiyor.

Breunig'in kendi alışkanlığı, token sayacını izlemek ve büyük bir göreve başlamadan önce 200.000–300.000 civarında sıfırlamaktır. AGNTCon izleyicilerine kodlama context'lerini bir milyon token'a kadar çalıştırıp çalıştırmadıklarını sorduğunda, salonun yaklaşık yarısı el kaldırdı — kabul ettiği kadarından daha fazlası.

Neden önemli

Konuşma, pencere boyutunun context sorununu çözdüğü fikrine kompakt bir karşı çıkış olarak iş görüyor. En gelişmiş modeller bile pencere çelişkili örneklerle dolduğunda bozuluyor ve modelin ağırlıklarına işlenmiş doğru bir çağrışım bile bir kez çalışma context'ine girdiğinde bir agent'ı rayından çıkarabiliyor. Bu, context engineering'i geçici bir çözüm değil kalıcı bir disiplin yapıyor: Pencereye neyin gireceğini, ne zaman temizleneceğini ve bir pipeline'ın hangi parçalarının deterministik kod, hangilerinin model yargısı olması gerektiğini seçmek artık temel agent kurma işidir — ve Breunig'in savına göre modeller ne kadar yetenekli olursa olsun böyle kalacak.