Geliştiricinin hafta sonu 340 dolarlık AI API faturası sağlık kontrolleri, yeniden denemeler ve sohbet geçmişine bağlandı

Sessiz bir hafta sonu, gürültülü bir fatura

Bir geliştirici, dev.to üzerinde, bir AI API üzerine kurulu küçük bir uygulamanın, altta yatan koda neredeyse hiç dokunulmayan bir hafta sonunda nasıl 340 dolarlık bir fatura ürettiğini ayrıntılarıyla anlatan bir yazı yayımladı. Shadie_ai kullanıcı adıyla yazan yazar, ücretin kullanıcı trafiğinden ya da yoğun prompt kullanımından gelmediğini söylüyor. Ücret, modeli her birkaç dakikada bir yoklayan arka plan sağlık kontrollerinden, zaman aşımında tetiklenen yeniden deneme döngülerinden ve her çağrıda tüm sohbet geçmişinin yeniden gönderilmesi pratiğinden geldi.

Yazı, bu deneyimi bir AI API'nin gerçek maliyetinin ne kadar az bir kısmının fiyatlandırma sayfasında göründüğüne dair bir ders olarak çerçeveliyor. Sağlayıcı 1.000 token başına 0,002 dolarlık bir ücret duyurmuştu; fatura gelene kadar bu oldukça basit görünüyordu.

Token kelime değildir

Yazıya göre ilk gizli çarpan tokenizasyon. API'ler metni kelimelerin kendisi yerine token temsilinden faturalandırıyor ve birleşik kelimeler ya da gömülü kod parçacıkları bir yükü görünür uzunluğunun çok ötesine taşıyabiliyor. Yazarın özetleme aracı, 1.000 kelimelik gibi görünen bir girdiyi yaklaşık 1.400 tokene dönüştürmüş.

Sohbet geçmişi bunu katlıyor. Çoğu sohbet API'si her turda tam bağlamı istediği için sistem prompt'u, önceki mesajlar ve yeni kullanıcı mesajı her seferinde yeniden faturalandırılıyor. Yazar, 20 mesajlık bir sohbetin, model tek bir kelime yanıt üretmeden önce 8.000 tokenden fazla bağlama ulaşabileceğini tahmin ediyor.

Yeniden denemeler sessizce iki kez ödetiyor

Yazı ayrıca, dakikada 2.000 tokenla sınırlı bir API'ye 50 paralel istek gönderecek şekilde tasarlanmış bir toplu işi de anlatıyor. Beklenen hızlı çalışma yerine bir dizi 429 hatası üretti ve çözüm — rastgele jitter'lı üstel geri çekilme — kendi başına bir maliyet getirdi.

Yeniden denemelerin bir bedeli var, çünkü yazarın da belirttiği gibi, kabul edilip kısmen üretildikten sonra bir ağ zaman aşımıyla düşen bir istek yine de faturalandırılıyor ve yeniden deneme taze bir üretim için ödeme yapıyor. Bu durumda yeniden deneme mantığı %5'lik bir hata oranını kabaca %15'lik bir maliyet ek yüküne dönüştürdü; bunun dışında faturalandırma konsolundaki kafa karıştırıcı bir kalem dışında pek kanıt yoktu.

Girdi ve çıktı aynı fiyata değil

Fiyatlandırma sayfasını dikkatle okuyan geliştiriciler bile çoğu sağlayıcının girdi ve çıktı tokenları için farklı ücretler aldığını gözden kaçırabiliyor. Yazı, GPT-4'ün çıktı için girdiye kıyasla kabaca üç kat fazla ücret aldığına dikkat çekiyor; bu da çıktı yoğun uygulamaların ekonomisini değiştiriyor.

Yazarın kod inceleme botu için çıktı tokenları faturanın yaklaşık %70'ini oluşturuyordu, çünkü kısa prompt'lar uzun analizler üretiyordu. Yanıt uzunluğuna sınır koymak cevapları işe yarar olmayacak kadar kısa hale getirdiği için yazar, akış (streaming) yanıtlara geçti ve eyleme dönük kısımlar üretildiğinde durdurdu — bu değişikliğin maliyetleri yaklaşık %40 azalttığı belirtiliyor.

Fine-tuning, geçiş ve gecikme

İki ek maliyet bir aylık faturada daha az görünür. Yazarın bulduğu üzere fine-tuning, yaklaşık 500 dolarlık insan etiketli eğitim verisi ve saatte 120 dolardan faturalandırılan altı saatlik bir eğitim işi gerektirdi; ayrıca özel model temel modelin paylaşımlı altyapı fiyatlandırmasına uygun olmadığı için premium bir endpoint gerektirdi. Sonuç, %15'lik bir doğruluk artışı karşılığında çağrı başına kabaca üç kat daha pahalı bir model oldu; yazar bu artışa değmediğini düşündü.

Sağlayıcı değiştirmek başlı başına bir vergi. Yazar, tokenizer'lar, API şemaları ve hız sınırlarındaki farklılıklar nedeniyle bir sağlayıcıdan diğerine geçişin bir haftasını aldığını aktarıyor ve bir sağlayıcının SDK'sına sıkı sıkıya bağlı kodun, aylık değişen bir pazarda ekipleri daha ucuz seçeneklerin dışında kilitlediği uyarısında bulunuyor.

Gecikme, hiçbir faturada hiç görünmeyen bir maliyet taşıyor. Üretken yanıtların bir ila beş saniye sürmesiyle yazarın metrikleri, bekleme süresindeki her ek saniye için kullanıcı memnuniyetinin %11 düştüğünü gösterdi. Hibrit bir tasarım — sık sorulan soruları yerel bir arama tablosundan yanıtlamak ve API'yi yalnızca yeni sorular için çağırmak — API harcamasını yaklaşık %60 azalttı ve hizmeti daha hızlı hissettirdi.

Neden önemli

Bu anlatı bir anket değil, tek bir geliştiricinin deneyimi; ama anlattığı örüntü geniş ölçüde geçerli. Fiyatlandırma sayfasındaki token başına ücretler en iyi senaryoyu yansıtır; arka plan sağlık kontrolleri, yeniden denemeler, yeniden gönderilen geçmiş, çıktı yoğun prompt'lar ve premium endpoint'lerin hepsi gerçek rakamı katlar ve çoğu panel bu birikimi fatura gelene kadar görmeyi zorlaştırır. Yazarın kapanış tavsiyesi, bağlılanmadan önce token kullanımını denetlemek: küçük bir pilot çalıştırmak, tokenları kelime sayısından tahmin etmek yerine sağlayıcının kendi tokenizer'ıyla saymak ve gerçek tüketimi izlemek. AI API'lerini üretim sistemlerine entegre eden ekipler için bu ölçüm adımı, öngörülebilir bir maliyet modeli ile sürpriz bir fatura arasındaki farktır.