deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

Oturum devamı maliyetini belirleyen, cache penceresi değil altı kat artan context boyutu

Palo Alto AI Research Lab, kodlama oturumlarının başlangıç context'inin üç ayda altı kat büyüdüğünü ölçtü ve oturum devam ettirmenin maliyetini artık context boyutunun, sağlayıcıların cache penceresi uzunluğunun değil bunun belirlediğini savunuyor.

Oturum devamı maliyetini belirleyen, cache penceresi değil altı kat artan context boyutu

Üç ayda altı kat artış

Palo Alto AI Research Lab'den bir dev.to yazısı, AI kodlama oturumlarına taşınan medyan context'in Ağustos'ta 91.549 token iken Kasım ortasına kadar kabaca 546.000 token'a büyüdüğünü — yani üç ayda yaklaşık altı kat arttığını — gösteren birinci elden ölçümleri raporluyor. 8–18 Kasım arasındaki oturum kayıtlarından alınan günlük medyanlar, gün başına 7 ila 24 oturumda yaklaşık 490.000 ile 546.151 token arasında değişti. Laboratuvarın savunusu, bu büyümenin — sağlayıcıların cache pencerelerinin uzunluğunun değil — eski bir oturumu yeniden ele almanın ekonomisini artık belirleyen şey olduğudur.

Cache penceresi sorusu

Yazı, ortak yazar Anton Dziatkovskii'nin bir sorusuyla başlıyor: Claude Code, Codex, Antigravity veya Cursor'dan 40–60 dakika uzak kaldıktan sonra oturumu sürdürmek, tüm geçmişin yeniden gönderilmesi ve her token'ın yeniden faturalanması anlamına mı geliyor? Laboratuvarın yanıtı, böyle bir pencerenin var olduğu ama varsayılan sürenin belgelenmiş hiçbir varsayılanla uyuşmadığı yönünde.

Anthropic için yazı, 5 dakikalık varsayılan cache ömrü ile 1 saatlik genişletilmiş katmanın yayımlanmış mekanizmalarına atıf yapıyor: 5 dakikalık bir cache yazımı temel giriş ücretinin 1,25 katı, 1 saatlik yazım iki katı, cache okumaları ise onda biri fiyatıyla ücretlendiriliyor. Dikkat çekici bir ayrıntı laboratuvarın kendi araçlarından geliyor: Yazının yazıldığı oturumun işletim talimatları, isteklerinin 1 saatlik bir prompt-cache TTL ile çalıştığını ve oturum kullanım aşımına girerse bunun 5 dakikaya düştüğünü belirtiyor. Başka bir deyişle, koruma tam da tüketimin en yüksek olduğu anda on iki kat küçülüyor.

Çelişen rakamlar ve hiç rakamı olmayan iki araç

OpenAI için yazı, 30 dakikalık ve 12 saate kadar uzatılabilen bir pencere, cached input'da yüzde 90'a varan indirim tanımlıyor — ancak kaynaklar arasındaki çelişkilere dikkat çekiyor: biri yazımları temel girişin 1,25 katı, okumaları 0,1 olarak verirken, bir diğeri 12 saatlik yazımı 2,5 kat fiyatlandırıyor, üçüncü ve daha eski bir kaynak ise 24 saatlik bir varsayılandan söz ediyor. Hiçbiri sağlayıcının kendi fiyatlandırma sayfası değil. Cursor ve Antigravity'de yazarlar oturum sürdürme maliyetlerine dair hiçbir şey bulamadı; Gemini tarafındaki tek rakam — okumaların taze girişten yaklaşık yüzde 75 ucuz olması — bir yıldan eski bir kaynaktan geliyor.

Dolar değil, kota

Yazı aynı zamanda sorunun kendisini yeniden çerçeveliyor. Token'ları iki kez ödemek API faturalandırma dilidir; abonelikte bir cache miss fatura üretmez, kota yakar — aynı token'lar haftalık limitin payı olarak ölçülür. Bu, tavsiyeyi de değiştiriyor: Dolar karşısında kural cache penceresinin içinde kalmaktır, haftalık kova karşısındaysa context'i küçük tutmaktır. Büyük bir context'le iki kural zıt yönlere işaret eder.

Bir oturum sürdürmenin gerçek maliyeti

546.151 token'lık medyana uygulandığında, yazı, sürdürülen bir oturumun ilk isteğinin pencere içinde indirimli okuma ücretiyle yaklaşık 55.000 token'a mal olduğunu, cache süresi dolduğunda ise tam 546.151 token'a mal olduğunu tahmin ediyor — sürdürme başına kabaca 491.000 token fark. TTL yalnızca bu altı kat büyük rakamın indirimli mi yoksa tam mı ödeneceğini belirliyor.

Caching ayrıca paylaşılan önek üzerine anahtarlanıyor ve compaction, context'in başını yeniden yazdığı için, sürdürmeden önce compact etmek bir cache miss'i garanti ederken sonrasındaki her şey için çok daha küçük bir fatura satın alıyor. Laboratuvarın önerileri: pencere içinde değişmemiş context'le geri döndüyseniz sürdürün; pencerenin süresi dolduysa ve context büyükse compact edin; pencerenin süresi dolduysa ama context küçükse sürdürün. Büyük context artı bir günlük uzak kalma durumu doğrudan compact satırına denk geliyor. Yazarlar, kendi kurulumlarında compaction'ın iki adımlı manuel bir işlem olduğunu, çünkü tek başına /compact'ın zenginleştirilmiş prompt dosyalarını okumadığını ekliyor.

Rakamlar ne kadar güvenilir

Yazıda yalnızca iki kalem birincil kaynaklardan geliyor, diye belirtiyor yazarlar: kendi bildirdikleri 1 saatlik TTL ve kendi kayıt medyanları. Anthropic ve OpenAI çarpanları birbirleriyle çelişen ikincil yazılar ve Anthropic'in Mart 2026'da varsayılan TTL'ini bir saatten beş dakikaya düşürdüğü iddiası, laboratuvarın bulabildiği resmi bir doğrulama olmayan tek bir blogda yer alıyor.

Neden önemli

Agentic kodlama oturumları rutin olarak yarım milyon token taşırken, cache pencereleri geliştiricilerin ayrı olarak kontrol ettiği bir rakama uygulanan indirime dönüşüyor. Abonelik kotası bütçeleyen herkes için context hijyeni — compaction, özetleme, taze oturumlar — artık TTL ayarından daha önemli. Ve özgün sorudaki dört aracın ikisi için kamuya açık sürdürme maliyeti rakamı olmadığından, pazarın büyük bölümü hâlâ ölçülmemiş durumda.

  • #llm
  • #prompt-caching
  • #claude-code
  • #developer-tools
  • #context-window

İlgili yazılar