Kendi sunucunuzda LLM çalıştırmanın ekonomisi: gerçek aylık maliyetler, bellek tuzakları ve ücretsiz endpoint faturası

Son zamanlarda yayımlanan üç dev.to yazısı, kendi sunucunuzda LLM inference'ını farklı açılardan ele alıyor: bizzat yaşanmış bir maliyet dökümü, bir donanım boyutlandırma kontrol listesi ve ücretsiz model endpoint'lerine yönelik bir eleştiri. Birlikte pratik bir toplam sahip olma maliyeti tablosu çiziyorlar — tasarruf gerçek ama dar kapsamlı, gizli maliyetler saatler olarak geliyor ve ücretsiz erişim de harcamayı büyük ölçüde yalnızca başka yere taşıyor.

Amortismanlı aylık hesap

Yerel olarak sahip olduğu bir GPU'da 14 milyar parametreli modeller çalıştıran bir yazarın gönderisine göre, ekran kartı ve bir bellek yükseltmesi 24 aya yayıldığında üç aylık ortalama işletme maliyeti ayda 58–73 dolar. Sistem günün her saati inference'a hizmet veriyor ve hep açık otomasyon hatlarından günde en az 100.000 token işliyor. Yazarın tahminine göre eşdeğer hacimde bir öncü (frontier) bulut API'si ayda 180–240 dolara mal olurdu — bu, 107–180 dolar net tasarruf demek ve 500–600 dolarlık bir GPU için ekonomik başabaş noktası yaklaşık üç ila dört ay.

Gönderi, bu tasarrufun yalnızca belirli bir kullanım profili için geçerli olduğunu dikkatle belirtiyor: sınıflandırma, çıkarma ve yapılandırılmış çıktı gibi yüksek hacimli tekrarlı görevler; ağdan çıkaramayacağınız veriler; ve en son teknoloji yerine yalnızca "çok iyi" çıktıyı kabul etme. Günde kabaca 100 çağrının altında, kurulum süresi dürüstçe hesaba katıldığında API daha ucuz. Yazar, öncü düzeydeki akıl yürütmeyi, yüksek riskli yanıtları ve tek seferlik işleri hâlâ bulut modellerine yönlendiriyor ve bu hibrit düzenlemeyi bir uzlaşma değil doğru mimari olarak nitelendiriyor.

Kimsenin bütçelemediği kırk saat

Aynı anlatıma göre, ilk üç ay ayrıca hiçbir şey üretmeyen yaklaşık 40 saat bakım emdi: bir kernel güncellemesinden sonra çıkan bir CUDA sürücü çatışması dört saat, Docker ağ değişikliğinden sonra oluşan bir Ollama hostname çözümleme hatası altı saat aldı ve sessizce bozulan JSON çıktısının bir GPU bellek ayırma hatasına kadar izlenmesi sekiz saat sürdü. Açıklanamayan yüzde 60 GPU kullanımının profillenmesi, yapılandırma kayması (configuration drift), modellerin yeniden indirilmesi ve sürüm sabitleme geri kalan zamanı doldurdu.

En sezgilere aykırı bulgu bellekle ilgiliydi. Büyük bağlam pencereleri (context window) sistem RAM'ini tüketiyor ve sayfalamayı, GPU belleği kısıt haline gelmeden çok önce ağırlaştırıyordu; bir RAM yükseltmesi, yazarın denediği herhangi bir model tarafı optimizasyonundan daha fazla gerçek dünyathroughput'u artırdı.

Önce sığdırma, sonra ölçülmüş hız

İkinci bir dev.to gönderisi satın alma öncesi kararı iki soruya indirgiyor: model sığıyor mu ve gerçekten ne kadar hızlı? Bellek sığdırma aritmetiktir — quantize edilmiş ağırlıklar, gerçekten istediğiniz bağlam için KV cache, artı runtime, sürücü ve masaüstü için pay. Q4 quantization'da 70 milyar parametreli bir model başka her şeyden önce yaklaşık 40 GB yer tutar; dolayısıyla böyle bir modelin 24 GB'lık bir kartta çalıştığı iddiaları genellikle sistem RAM'ine offload etmeyi ve yavaş inference'ı tarif eder.

Hız ise ancak koşullar eklendiğinde anlam taşıyan bir ölçümdür: kesin donanım, checkpoint, quantization, runtime sürümü, bağlam uzunluğu, eşzamanlılık ve sayının prefill'i, time-to-first-token'ı mı yoksa decode'u mu yansıttığı. Tek akışlı bir decode sayısı, sekiz eşzamanlı istekten elde edilen throughput değildir. Neyin mümkün olduğunu runtime belirler — CUDA, ROCm, Metal, Vulkan, CPU ve NPU ayrı kulvarlardır — Apple silicon'da MLX yerelken NVIDIA sunucularında vLLM veya SGLang throughput yollarıdır. Bir uyarı: mlx-lm ile birlikte gelen ve localhost'ta varsayılan olarak 8080 portunu kullanan OpenAI uyumlu sunucu yalnızca temel güvenlik kontrolleri uygular ve üretim için önerilmez.

Ücretsiz erişim faturayı taşır

MonkeyCode ürün tanıtımı olarak beyan edilen üçüncü bir gönderi, ücretsiz bir endpoint'in maliyeti sildiği varsayımına meydan okuyor. Fatura düşer ama dört başka kalem yükselir: yeniden denemeler (deneme başına maliyet), kuyruk bekleme süreleri (geçen süre maliyeti), gece yarısı insan kaynaklı yeniden çalıştırmalar (insan maliyeti) ve hizmet bedavaymış hissi nedeniyle yarıda bırakılan ayar çalışmaları (fırsat maliyeti). Tanıdık bir model adı da eşdeğerlik garantisi değildir; çünkü hız limitleri, zaman aşımları ve kesme davranışı dağıtıma göre değişebilir. Gönderi, sabit bir prompt'u defalarca sınayıp gecikme, çıktı uzunluğu ve kullanılabilirliği kaydetmeyi öneriyor.

Yelpazeleme (fan-out) sert bir dille ele alınıyor: paralellik yalnızca başarı başına deneme sayısı bire yakın kaldığı sürece gerçektir; üzerinde, yük kaldırılmıyor yalnızca taşınıyor. Gönderi, herhangi bir OpenAI uyumlu endpoint'i saran, her denemeyi JSONL olarak loglayan ve jq ile başarı başına deneme sayısı ile p50 ve p95 gecikmesini özetleyen yaklaşık 40 satırlık bir bash defteri sunuyor. 1.0 civarı ücretli bir endpoint gibi davranır, 1.0 ila 1.5 arası çevrimdışı toplu işler için tolere edilebilir, daha yükseği zamanda ödeme anlamına gelir. Defter yanıt kalitesini, kararlılığı veya verinin nereye gittiğini ölçemez ve doğrulanmamış veri ikamet kısıtları ya da katı gecikme bütçeleri olan ekiplere yalnızca ücretsiz kurulumlardan uzak durmaları söyleniyor. Ücretsiz sunucular ayrıca betiklenmiş kurulum gerektirir; çünkü dünkü durum yarın var olmayabilir.

Neden önemli

Üç gönderi tek bir noktada buluşuyor: fatura, inference ekonomisindeki en az bilgi verici sayıdır. Maliyet amorti edilmiş donanım olarak, bütçelenmemiş kırk saat olarak, yetersiz sistem RAM'i olarak veya ücretsiz bir endpoint'in ardındaki bir yeniden deneme fırtınası olarak yüzeye çıksa da, birisi onu öder. Yerel, ücretli ve ücretsiz inference'ı tartan ekipler kararı, başarı başına ölçülmüş deneme sayısına ve operatör zamanının dürüst muhasebesine dayandırmalı; bu ay sıfır görünen kalem neyse ona değil.