Sunk Cost hesaplayıcısı, yerel bir LLM donanımının API fiyatlarına göre ne zaman kendini amorti edeceğini tahmin ediyor

Hesaplayıcı neler soruyor

Proje sayfasına göre girdiler defterin iki tarafını da kapsıyor. Yerel tarafta elektrik tarifinizi kilovatsaat başına dolar cinsinden ve ölçtüğünüz üretim hızınızı saniye başına token cinsinden giriyorsunuz. API tarafında ise barındırılan servisin hızını saniye başına token cinsinden ve — çıkarımı zaten kiralıyorsanız, yani kendi donanımınız yoksa — aylık faturanızı belirtiyorsunuz. Bir anahtar, API fiyatlarının sabit kalması yerine düşmeye devam ettiğini varsaymanıza olanak tanıyor; bu, başabaş noktasının ne kadar çabuk geleceğini — eğer hiç gelmeyecekse bunu da — ciddi biçimde değiştiriyor.

Karşılaştırmanın kendisi şekil olarak basit: ön ödemeli donanım maliyeti artı süregiden elektrik gideri, aynı iş yükünün API üzerinden kaça mal olacağıyla karşılaştırılıyor ve iki çizgi kesişene kadar sürüyor.

Ölçmediğiniz hızı nasıl ele alıyor

Sayfa metodolojisi konusunda alışılmadık ölçüde açık. Bir ölçüm verilmemişse yerel hız, bellek bant genişliğinin token başına okunan bayta bölünmesiyle türetiliyor ve sayfa bu tür rakamların ölçüm değil tahmin olarak etiketlendiğini belirtiyor. Bu formül yerel çıkarım için yaygın bir pratik kural, çünkü tek bir makinede token üretimi genellikle ham işlem gücünden değil, model ağırlıklarının bellekten ne kadar hızlı akıtılabilbildiğinden sınırlanıyor.

Sayfa ayrıca API hızı girdisinin yalnızca zaman karşılaştırmasını beslediğini — bir işin yerelde, barındırılan bir endpoint üzerinden olduğundan ne kadar daha uzun sürdüğünü — ve maliyet hesabını etkilemediğini açıklığa kavuşturuyor.

Düşen fiyat problemi

En sonuç doğuran girdi fiyatlandırma varsayımı. Token başına maliyetler sabit kalırsa, yoğun kullanılan yerel bir donanım aylar içinde satın alma fiyatını makul biçimde geri kazanabilir. Fiyatlar düşme eğiliminde kalırsa hedef kayar: her fiyat indirimi başabaş noktasını daha uzağa iter ya da tamamen ortadan kaldırır. Bu varsayımı gömülü bir varsayılan değer yerine açık bir checkbox yapması, kullanıcıları cevaba güvenmeden önce API fiyatlandırmasının nereye gittiğine dair bir görüşe bağlı olmaya zorluyor.

Neden önemli

Yerel mi API mi tartışması büyük ölçüde ideolojiden muhasebeye kaydı. Gizlilik, çevrimdışı çalışma ve rate limitlerden muafiyet modelleri kendiniz çalıştırmak için gerçek gerekçeler; ancak dürüst bir savunma ayrıca bir başabaş tahminine ihtiyaç duyuyor ve bu tahmin elektrik fiyatlarına, donanımın gerçekte ne kadar kullanıldığına ve barındırılan fiyatlandırmanın bundan sonra nereye gideceğine aşırı duyarlı. Tahminlerini etiketleyen ve varsayımlarını ortaya çıkaran bir araç, tek bir kendinden emin rakamdan daha kullanışlı, çünkü okuyucular sonucu kendi girdileriyle stres testine tabi tutabiliyor. Batık maliyet yanılgısına gönderme yapan isim iki yönlü işliyor: bu egzersizi donanımı satın almadan önce yapmak değerli, böylece kurulumun hiç kendini amorti edip etmeyeceğini bilirsiniz — sadece sonradan, harcanan parayı gerekçelendirmek için değil.