Yeniden gönderilen tool tanımları, bir yapay zeka ajanının API faturasının yüzde 32'sini oluşturabilir

Tool şemaları her istekle birlikte gidiyor

OpenAI uyumlu chat API'leri stateless'tır: model çağrılar arasında hiçbir şey saklamaz. Bu nedenle her istek, system prompt'u, konuşma geçmişini ve tool tanımlarının tamamını taşımak zorundadır; her tanım, ad, açıklama ve tipli parametrelerle bir JSON Schema nesnesi olarak yazılır. Bir ajan döngüsü adım başına bir istek gönderir — model bir tool seçer, sunucu onu çalıştırır, sonuç geçmişe eklenir — dolayısıyla on adımlı bir görev, araç kutusunun on özdeş kopyasını gönderir.

Bir API yeniden satıcısı olan altrouter'ın dev.to'daki yazısı bu tekrarın maliyetini sayısallaştırıyor. Yazar, bir kodlama ajanına özgü 18 tool'u topladı — dosya okuma, yazma ve düzenleme, dizin listeleme, kod arama, shell ve test çalıştırma, üç git komutu, web arama ve getirme, bir HTTP istemcisi, veritabanı sorgusu, issue oluşturma, mesajlaşma ve bir kullanıcı prompt aracı — hepsi sıradan bir-iki cümlelik açıklamalarla. Bunların mevcut GPT modellerinin arkasındaki tokenizer olan tiktoken'ın o200k_base kodlamasıyla tokenleştirilmesi, istek başına 2.388 token üretti: ortalama tool başına kabaca 133 token; parametresiz git_status için 54 token ile beş parametreli search_code için 193 token arasında değişiyor. Bu yük, kullanıcının görevi daha okunmadan iletiliyor.

On adımlı bir çalışmanın aritmetiği

Yazı daha sonra mütevazı bir ajan çalışması modelliyor: 500 tokenlik bir system prompt, 200 tokenlik bir görev ve her biri geçmişe yaklaşık 780 token ekleyen ve 150 çıktı tokeni üreten on adım; fiyatlandırma, yazarın 15 Ekim 2026 için verdiği GPT-5.6 oranları üzerinden — milyon giriş tokeni başına 2,00 dolar ve milyon çıktı tokeni başına 12,00 dolar.

On adım boyunca şemalar toplam 23.880 token tutuyor; çalışmanın tüm girişinin yüzde 36'sı. Dolar olarak, 0,150 dolarlık bir çalışmanın yaklaşık 0,048 dolarını, yani faturanın yüzde 32'sini oluşturuyorlar. İstek başına, araç kutusu system prompt ve görevin toplamından üç kattan fazla ağır. Günde 1.000 çalışmaya ölçeklendiğinde, bu aynı fonksiyon açıklamalarını yeniden göndermeye ayda kabaca 716 milyon token demek.

Üç düzeltme ve işe yaramadıkları yerler

İlk düzeltme budama. Kod düzeltme görevinin issue oluşturmaya, mesajlaşmaya veya veritabanı erişimine ihtiyacı yoktur ve araç kutusunu 18 tool'dan görevin gerçekten kullandığı 6'ya indirmek, aylık şema harcamasını 1.433 dolardan 563 dolara düşürdü — 870 dolar tasarruf — çalışma başına maliyet ise 0,150 dolardan 0,121 dolara indi; toolsuz taban çizgisi 0,102 dolardı.

İkincisi açıklamaları kısaltmak. Her birinin yalnızca ilk cümlesini tutmak ve parametre başına metni kaldırmak yükü 2.388 tokenden 1.545 tokene indirdi — yüzde 35'lik bir azalma. Yazar, açıklamaların modelin hangi tool'u çağıracağına karar vermesini sağlayan şey olduğu konusunda uyarıyor; dolayısıyla kesimden sonra seçim doğruluğu yeniden test edilmeli.

Üçüncüsü basitçe ölçmek: yazıda, herhangi bir tools dizisini yaklaşık bir dakikada tool başına token sayısına dönüştüren kısa bir tiktoken betiği var.

Yazar sınırlar hakkında açık sözlü. Sağlayıcılar JSON'u olduğu gibi iletmiyor — onu içsel biçimlere yeniden yazıyor ve kendi talimatlarını ekliyorlar — bu yüzden gerçek sayılar sağlayıcıya göre değişir ve tools'lu ile toolsuz gerçek çağrılarda usage.prompt_tokens ile karşılanarak doğrulanmalı. Prompt caching parayı ciddi şekilde değiştiriyor: tool listesi her isteğin başında duruyor ve caching'in tam da iskonto ettiği bölge orası, bu yüzden caching uygulandığında yüzde 32'lik pay küçülüyor. Ancak adımlar arasında araç kutularını değiştirmek bu cache'i geçersiz kılıyor; yani tool budama ile cache isabetini en yükseğe çıkarma birbirine ters düşüyor. Yazının yayıncısının indirimli GPT-5.6 erişimi satıyor olması, analize ticari bir açı katıyor; ancak ölçüm yönteminin kendisi tekrarlanabilir — bu da not edilmesi gereken bir başka nokta.

Neden önemli

Ajan çerçeveleri tools dizisini sabit bir yapılandırma olarak görmeye eğilimli, ama bu analiz onun her çalışmanın her adımıyla ölçeklenen yinelenen bir maliyet gibi davrandığını gösteriyor. Yüzde 32 rakamı tek ve kendi yayınladığı bir kıyaslamadan geliyor ve araç kutusu boyutu, adım sayısı, fiyatlandırma ve caching'e göre değişecektir; yine de kollar alışılmadık derecede ucuz: budama ve şemaları sıkılaştırma ne model değişikliği ne de prompt yeniden yazımı gerektiriyor. Çok adımlı ajanlar kodlama ve operasyonel iş için varsayılan arayüz haline geldikçe, giriş yükü belirli bir ajan tasarımının ölçekte ekonomik olarak uygulanabilir olup olmayacağını belirleyebilir. Yazının ortaya koyduğu caching gerilimi de gerçek bir tasarım kısıtı — tool listelerini optimize eden ekipler ile cache isabet oranını optimize eden ekiplerin koordine olması gerekiyor, çünkü her biri sessizce diğerinin tasarrufunu geri alabilir.