Vercel, context yönetimi ve prompt-cache yeniden kullanımıyla Agent oturum maliyetlerini yüzde 67 düşürdü

Ne oldu

Şirketin blogunda yayımlanan bir changelog gönderisine göre Vercel, Agent oturumlarının ortalama maliyetini yüzde 67 düşürdü. Bu indirim hem Vercel dashboard'da hem de Slack üzerinden yürütülen oturumlar için geçerli ve iyileştirmeler halihazırda yayında — kullanıcıların etkinleştirmesi veya yapılandırması gereken bir şey yok.

Önemli bir nokta: Bu tasarruf bir fiyat indirimiyle sağlanmadı. Vercel, Agent'ın context'i nasıl yönettiğini baştan yapılandırdığını, böylece her oturumun daha az token tüketdiğini ve prompt cache'in daha fazla bölümünü yeniden kullandığını belirtiyor. Kullanıcılar token başına ödeme yaptığından, daha yalın oturumlar doğrudan daha düşük faturalara dönüşüyor.

Düşüşün arkasındaki dört değişiklik

Vercel'e göre yüzde 67'lik rakamı dört mühendislik değişikliği ortaya çıkardı.

Birincisi, Agent'ın dayandığı Vercel CLI skill'lerinin yeniden işlenmesi. Güncellenen skill'ler yaygın iş akışları etrafında organize edildi ve artık bir şeyler ters gittiğinde durumu kurtarmak için daha iyi yönlendirme içeriyor. Vercel, bu skill'lerin paylaşılan altyapı olduğunu, dolayısıyla yalnızca Vercel Agent'ın değil, bunların üzerine kurulu diğer agent'ların da iyileştirmelerden yararlandığını belirtiyor.

İkincisi, artımlı (incremental) context yönetimi. Agent artık context'in konuşma büyüdükçe şişmesine izin vermek yerine, bir oturum boyunca onu daha verimli şekilde yönetiyor. Vercel, uzun Slack thread'lerini bunun önemli olduğu bir örnek olarak gösteriyor; çünkü bu konuşmalar çok sayıda mesaja yayılabiliyor ve daha önce her mesajla birlikte maliyet birikiyordu.

Üçüncüsü, daha iyi prompt caching. Agent artık turlar arasında daha fazla yeniden kullanılabilir context'i koruyor; bu da her isteğin daha büyük bir bölümünün yeni girdi olarak işlenmek yerine cache'ten sunulabilmesi anlamına geliyor. Cache'lenmiş token'lar genellikle cache'lenmemiş olanların çok daha küçük bir bölümü üzerinden faturalandırıldığından, cache isabet oranını iyileştirmek nihai fatura üzerinde çok büyük bir etki yaratıyor.

Dördüncüsü, daha verimli kodlama ve planlama. Vercel, Agent'ın değişiklikleri planlarken ve kod yazarken izlediği kılavuzu güncelledi; böylece Agent aynı sonuca daha az token harcayarak ulaşıyor.

Faturalandırma oranları aynı kaldı

Vercel, faturalandırma modelinin değişmediğini açıkça belirtti. Ücretli oturumlar hâlâ altta yatan model sağlayıcısının inference oranı üzerinden, ayrıca milyon token başına 0,25 dolarlık bir Vercel Agent ücreti eklenerek faturalandırılıyor.

Yani yüzde 67'lik düşüş, herhangi bir indirimden değil, oturum başına daha düşük token tüketimini yansıtıyor. Etkinin kendi harcamalarında nasıl göründüğünü merak eden kullanıcılar, kullanımı ve maliyetleri Vercel dashboard'unun Agent bölümünden inceleyebilir.

Neden önemli

Zaten Vercel Agent kullanan ekipler için bu, fiilen bir fiyat indirimi oldu ve hiçbir geçiş çalışması gerektirmedi — maliyetler, değişiklikler devreye girdiğinde simply düştü.

Daha geniş sinyal ise agent ekonomisiyle ilgili. Kodlama ve operasyon agent'ları günlük araçlar hâline geldikçe baskın işletim maliyeti inference oluyor ve inference maliyeti de büyük ölçüde her istekle birlikte taşınan context miktarının bir fonksiyonu. Vercel'in gönderisi, agent maliyetlerinin daha ucuz modeller beklemek yerine prompt tasarımı, artımlı context yönetimi ve cache disipliniyle aşağı çekilebileceğinin somut bir kanıtı.

Bu aynı zamanda, token bütçesinin geçmişte yedili context'e ne kadar harcandığına dair bir fikir veriyor. Yeniden kullanılabilir context'i turlar arasında korumak bile ortalama maliyetleri yarıdan fazla düşürdüyse, bu alana yatırım yapmamış diğer agent sağlayıcıları için de benzer bir potansiyel olduğu düşünülebilir.

Son olarak, paylaşılan CLI skill'leri bir bileşik etkiye işaret ediyor: Bir agent'ın dayandığı araçlar daha net talimatlar taşıdığında, o araçların üzerine kurulan her agent aynı anda hem daha ucuz hem de daha yetenekli hâle geliyor.