Claude Haiku 5.5, prompt 100K token sınırını aşınca 5 kat token ücreti uyguluyor

100.000 token'da beş katlık uçurum

Claude Haiku 5.5 iki kademeli fiyatlandırılıyor ve kademeler arasındaki sınır keskin. Gabriel Anhaia'nın bir dev.to yazısına göre Anthropic'in fiyat sayfası, modeli 100.000 token'a kadar olan promptlarda milyon giriş başına 0,10 dolar ve milyon çıkış başına 0,50 dolar; bu sınırın üzerinde ise 0,50 ve 2,50 dolar olarak listeliyor ve yüksek oran çıkışa da giriş kadar uygulanıyor.

Yazıdaki hesap uçurumu somutlaştırıyor. 99.000 prompt token ve 1.000 çıkış token'ı olan bir istek, liste fiyatlarıyla yaklaşık 0,0104 dolara mal oluyor. Aynı isteğin 101.000 prompt token'la yapılan hâli ise yaklaşık 0,0530 dolar tutuyor: prompt yüzde 2 kadar daha büyük, maliyet 5,1 kat. Önbellekleme veya toplu iş indirimleri öncesi günde temsili 100.000 isteğe ölçeklendiğinde, bu yaklaşık 1.040 dolar ile 5.300 dolar arasındaki fark anlamına geliyor.

Yazının ihtiyat senaryosu, 7 Ekim'deki lansmanının ardından bir ekibin Haiku 4.5'in onda biri olan temel oranın cazibesiyle bir retrieval endpoint'ini Haiku 5.5'e taşımasını konu alıyor. Biri tek satırlık bir pull request'te retrieval topK'yı 12'den 20'ye yükselttiğinde ya da kaynak belgeler uzadığında trafik sınırın aşına kayabiliyor. Modelin 1M token'lık bir context penceresi olduğu için her istek yine başarılı oluyor. Hiçbir yerde hata fırlatılmıyor; ilk görünür belirti fatura oluyor.

Prompt önbellekleme işe yaramıyor

Yazıda alıntılanan Anthropic'in uzun bağlam fiyatlandırmasındaki iki kural, bariz çözüm yolunu kapatıyor. Bir isteğin prompt uzunluğu, önbellek okumaları ve önbellek yazmaları dahil tüm giriş token'larını sayıyor ve eşiği aşan bir istek, önbellek isabeti olan kısım için bile yüksek fiyatları ödüyor. 90.000 token'lık önbelleğe alınmış bir sistem öneki ile 15.000 taze token birleşince 105.000 token'lık bir prompt ortaya çıkıyor ve önbellek okuma oranının kendisi de milyon token başına 0,01 dolardan 0,05 dolara yükseliyor. Önbellekleme bir isteği sınırın altına indiremez; bunu yalnızca daha kısa bir prompt yapabilir.

Eşik istek başına değerlendirilir ve tam 100.000 token'lık bir prompt temel kademede kalır.

Her istek öncesi sayım

Yazının çaresi, göndermeden önce prompt boyutunu tahmin eden ve istek sığana kadar en düşük sıralı retrieval parçalarını budayan küçük bir TypeScript koruması. Anthropic'in TypeScript SDK'sının client.messages.countTokens olarak sunduğu token sayma endpoint'ine dayanıyor; bu endpoint, Messages API ile aynı model, system, messages ve tools parametrelerini alıyor ve bir input_tokens değeri döndürüyor. Sayım ücretsiz, kendi hız limiti var (Start kademesinde dakikada 5.000 istek) ve mesaj oluşturma kapasitesini kullanmıyor. Anthropic sonucu gerçek kullanımdan biraz farklılık gösterebilecek bir tahmin olarak tanımladığı için koruma, tam 100.000 yerine 97.000 token'lık bir bütçeyi hedefliyor.

Mevcut token sayımları da bayat olabilir. Haiku 5.5, aynı metin için Haiku 4.5'e kıyasla yaklaşık yüzde 30 daha fazla token üreten daha yeni bir tokenizer kullanıyor; bu yüzden eski modele göre alınan ölçümler bugün prompt boyutunu küçük gösteriyor. Açıkça küçük olan promptlar için, ekstra API gidiş-dönüşünü atlamak üzere milyon token başına yaklaşık 2,5M Unicode karakterlik kaba bir oran kullanılabilir; ancak bu sayı bir üst sınır değil, bir ortalamadır.

Budama ve doğrulama

Bir prompt bütçeyi aştığında koruma, token sayısı parçalar eklendikçe sadece büyüdüğü için sıralı parça listesinde sığan en uzun öneki binary search ile buluyor. Bu, düşürülen her parça için bir çağrı yerine yaklaşık log2(n) sayım çağrısı demek. Koruma ayrıca API'nin fiilen hangi kademeyi faturalandırdığını log'luyor ve en kötü durum promptu eşiği aştığında CI'ı başarısız kılan bir Vitest testiyle bunu destekliyor.

Bu log'lama adımı, yazının altını çizdiği bir kullanım raporlama tuzağı yüzünden önemli: API'nin input_tokens alanı yalnızca son önbellek kesim noktasından sonraki token'ları kapsıyor. Faturalandırılan toplam, cache_read_input_tokens artı cache_creation_input_tokens artı input_tokens olduğundan, yalnızca input_tokens'ı çizen bir panel, uzun kademede faturalanan bir istek için 15.000 gösterebilir.

Neden önemli

Kademeli uzun bağlam fiyatlandırması, prompt boyutunu teknik bir kısıttan doğrudan bir maliyet kaldıracağına çeviriyor ve bu eşik, modelin kullanılabilir context penceresinin çok içinde kalıyor. Sınır aşımları sessiz: istekler başarılı oluyor, yanıtlar normal görünüyor ve yalnızca harcama değişiyor. Yazı, ölçümlü API'lerde RAG ya da agent iş yükleri çalıştıran herkes için faydalı bir şablon — promptları istek başına ölçün, önbelleğe alınan token'ların sınıra dahil olduğunu unutmayın, doğru kullanım alanlarını okuyun ve en kötü durum promptu test altına alın.