AI agent harness'ları prompt-cache verimliliğinde 2,7 kat fark gösteriyor, Neuralwatt verileri ortaya koydu

Cache'i harness neden kontrol ediyor

Enerji ölçümüne göre faturalandırma yapan inference cloud sağlayıcısı Neuralwatt, kendi trafiği üzerine yaptığı bir analizi yayımladı; analize göre bir modeli saran istemci yazılımı — agent harness — her isteğin ne kadar pahalıya mal olacağını büyük ölçüde belirliyor. Neuralwatt blogunda yazan kurucu ortak ve CEO Chad Gibson, 8 Eylül - 7 Ekim 2026 tarihleri arasında en yoğun istemcilerde cache'lenmemiş girdinin %1,6 ile %11,1 arasında değiştiğini bildiriyor. Aynı konuşma için bu fark, yaklaşık 2,7 kat daha fazla prefill hesaplaması anlamına geliyor.

Prompt caching birebir aynı bir önek gerektirir. Bir kodlama agenti 100k token'lık bir konuşmaya az bir metin ekleyerek gönderdiğinde, sunucu daha önce işlenmiş her şey için key-value cache'ini yeniden kullanabilir ve yalnızca yeni kısmı hesaplar. Neuralwatt, trafiğinin neredeyse tamamının agentic olduğunu ve ağırlıklı olarak girdi odaklı olduğunu, dolayısıyla bu mekanizmanın işin büyük kısmını yaptığını söylüyor.

Harness daha önce gönderdiği herhangi bir şeyi değiştirirse — prompt'un başına yakın bir timestamp bile olsa — sunucu ilk farktan itibaren yeniden hesaplamak zorunda kalır. Bunun olup olmayacağına model ya da GPU değil, harness karar verir.

Ölçülen istemciler arasında OpenCode, Pi ve Oh My Pi (omp) gibi açık kaynak kodlama agentlerinin yanı sıra editör entegrasyonları, OpenAI SDK'ları ve özel uygulamalar yer aldı; yalnızca OpenCode, Neuralwatt müşterilerinin yaklaşık dörtte birini oluşturuyor. İş yükü de isabet oranlarını etkilediğinden — uzun oturumlar doğal olarak daha iyi skor alıyor ve Neuralwatt'ın deepseek-harness olarak etiketlediği bir istemcinin öndeliğinin yaklaşık yarısı, çok uzun oturumlar çalıştıran kullanıcılardan geliyordu — Gibson daha adil karşılaştırma olarak cache kırılma sıklığına işaret ediyor: deepseek-harness için her 100 turda yaklaşık 1, OpenCode ve Pi için ise yaklaşık 3 kırılma. OpenCode 2.x, 1.x'in %3,0'ına karşı %2,2 cache'lenmemiş girdi kaydediyor, ancak Neuralwatt bunun çoğunu model karışımına bağlıyor; aynı modelde ikisi laboratuvarda kabaca eşit cache'liyor — 2.x, 1.x'in laboratuvardaki cache kırılmalarının çoğunu düzeltmesine rağmen — ve şirket bu tutarsızlığı henüz açıklayamadığını belirtiyor.

Enerji ve gecikme maliyeti

1–7 Ekim 2026 haftasında yaklaşık 50k prompt token'lık, aynı boyutlu istekleri karşılaştırınca Neuralwatt, çoğunluğu cache'lenmemiş bir isteğin — prompt'unun %10'undan azı cache'lenmiş olan — tamamen cache'lenmiş bir isteğin kabaca iki katı, GLM-5.3 üzerinde ise yaklaşık 2,5 katı enerji tükettiğini buldu. Gereksiz prefill ayrıca aynı GPU'larda üretimle kaynak paylaşımı yaparak o sunucudaki diğer herkes için yanıtları yavaşlatıyor.

Derinlik, ıskaları çok daha kötüleştiriyor. 6–13 Ekim döneminde en yoğun üç modelinde oturumları tur tur izleyen Neuralwatt, 128k token'lık bağlamın ötesinde her 1.000 turdan yaklaşık 3'ünün prompt'ununun yarısından fazlasını yeniden okuduğunu tespit etti. Bu az sayıdaki tur, o derinlikteki tüm yeniden okunan token'ların %75'ini oluşturuyor ve ortalama her biri yaklaşık 230k yeniden okunan token'a mal olarak, medyan olarak yalnızca yaklaşık 370 yeni token ekleyen sıradan yaklaşık 600 tur kadar prefill maliyetine denk geliyor.

Asıl neyi bozuyor

Laboratuvar testlerinde Neuralwatt, OpenCode 1.18.34, Pi 1.0.4, omp 18.6.3 ve Kilo Code 7.8.3'e ek olarak OpenCode 2.0.29'u, bir kayıt proxy'si üzerinden DeepSeek V4.1 Flash ve GLM-5.3'e karşı; planlama, sub-agent'lar, yeniden başlatmalar, MCP bağlantıları ve compaction kapsayan betikleştirilmiş bir oturumla çalıştırdı. Aynı konuşmada önceki bir isteği takip eden 539 istekten %88'i saf ekleme (append) idi; kalan 65'i cache'i kırdı ve her kırılma, harness'in daha önce gönderdiği metni yeniden yazmasına dayanıyordu. Boşta geçen süre, yeniden başlatmalar ve sub-agent'lar hiçbirine neden olmadı.

İki suçlu öne çıktı. OpenCode'un plan-mode hatırlatıcısı bir kullanıcı mesajına ekleniyor ve ardından bir sonraki turda kaldırılıyor; bu da her turun bir öncekini yeniden okumasına zorluyor — bu testlerde tur başına 330 ile 2.340 token. OpenCode 2.x hatırlatıcıyı kendi mesajına taşıyor. omp, yeniden okunan bir dosyanın önceki okumalarını bir "geçersiz kılındı" işaretiyle değiştiriyor; bir çalışmada bu düzenleme prompt'un %62'lik noktasına denk gelmiş ve 15.520 token'dan 5.846'sının yeniden okunmasına yol açmış. Neuralwatt, üretim sayılarının bellek baskısı altındaki cache tahliyelerini de içeriyor olabileceği konusunda uyarıyor; bunları sunucu tarafından harness düzenlemelerinden ayırt edemiyor.

Neden önemli

Verimlilik tartışmaları genellikle model mimarisine veya hızlandırıcı donanıma odaklanır, ancak bu veriler istemcinin de birinci sınıf bir kaldıraç olduğunu gösteriyor. Neuralwatt'ın laboratuvarda yeniden üretebildiği her cache kırılması harness davranışından kaynaklandı; yani agent harness'i geliştiren ya da seçen ekipler, prompt geçmişini asla değiştirmeyip yalnızca ekleme yaparak, şu anda cache'i ıskalayan isteklerin enerjisini kabaca yarıya indirebilir ve uzun oturumların derinliklerindeki görünür takılmaları önleyebilir. Maliyet ve gecikme cache'lenmemiş token'larla ölçeklendiğinden, harness seçimi fiilen bir fiyatlandırma kararıdır.