Modelplane, üretimde LLM inference çalıştırmaya yönelik açık saha kılavuzunu yayımladı

Modelplane, kendi GPU'larında büyük dil modelleri çalıştırmaya yeni başlayan platform mühendisleri için yazılmış, erişime açık bir inference mühendisliği saha kılavuzu yayımladı. Belge 10 Kasım 2026'da Hacker News'in ana sayfasında yer aldı; içindeki sayılar, fiyatlar ve araç sürümleri Ekim 2026 itarıyla günceldir. Modelplane, Crossplane'ın arkasındaki şirket olan Upbound tarafından geliştirilir.

Kılavuz kimin için

Kılavuz bu işi şöyle tanımlıyor: bir model seçmek, onu uygun donanıma kurmak, serving'i kesintisiz tutmak, daha hızlı ve daha ucuz hale getirmek ve arıza olduğunda nöbeti devralmak — özünde yeni bir iş yükü sınıfına yönelik site reliability çalışması. Kılavuz açıkça daha geniş inference topluluğunun üzerine inşa ediyor; Viktor Farcic, Philip Kiely, The Pragmatic Engineer, ByteByteGo, Data Gravity, Spheron, Vishakha Sadhwani ve Upbound'ın kendi Project Champagne serisinden çalışmalara atıf yapıyor.

Self-hosting gerekçesi

Kılavuza göre yapay zekaya ağır yatırım yapan organizasyonların içindeki platform ekipleri inference ekiplerine dönüşüyor. Kodlama asistanları kaynak kodunu üçüncü taraflara gönderemiyor, frontier model faturaları her ay tırmanıyor ve iç destek araçları hosted API'lerin erişemediği verilere ihtiyaç duyuyor. Bu arada Hugging Face artık iki milyondan fazla açık model barındırıyor ve en güçlüleri kapalı modellerle yarışıyor — Ocak 2025'te yayımlanan DeepSeek'in R1'i, o1 çıktıktan yaklaşık bir ay sonra matematik ve kodlama benchmarklarında OpenAI'nin o1'iyle eşleşti.

Kendi modelinizi çalıştırmak, gecikme süresi, çalışma süresi ve verinin nereye gittiği üzerinde kontrol anlamına geliyor ve yüksek hacimde maliyetleri yaklaşık %80 azaltabiliyor. Kılavuz ayrıca sabit bir yapay zekâ yetenek düzeyinin fiyatının yılda yaklaşık on kat düştüğünü ve bunun çoğunun daha iyi GPU'lardan değil, modellerin nasıl serve edildiğinden geldiğini savunuyor. Upbound'ın kendi deneyimi de bunu doğruluyor: Project Champagne sırasında, Modelplane üzerinde modelleri çalıştırırken vLLM motoru ve zamanlama sorunsuzdu; asıl efor TLS, kimlik yönetimi, timeout'lar, depolama, IAM ve observability'ye gitti.

Kılavuz zamanlama konusunda da açık sözlü. Bir ürünün yaşamının başlarında hosted API hâlâ doğru seçim; self-hosting, API harcaması gerçek bir bütçe kalemi haline geldiğinde, gecikme veya güvenilirlik gereksinimleri satıcıları aştığında ya da verinin ağ dışına çıkamayacağı durumlarda kendini amorti ediyor. Kılavuz ayrıca Chris Zeoli'nin Ağustos 2026'da herkese açık kariye panolarında yalnızca yaklaşık 58 açık inference pozisyonu saydığını ve yerleşik bir iş unvanının bulunmadığını belirtiyor.

Aktarılabilir beceriler

Kılavuzun büyük kısmı mevcut platform bilgisini inference'a mapliyor. Node zamanlaması, device selector'lar ve exclusive cihazlarla GPU yerleşimine dönüşüyor. Kapasite planlaması, ağırlıkları, KV cache'i ve runtime overhead'i kapsayan GPU bellek matematiğine dönüşüyor. Load balancing, uzun ömürlü streaming bağlantıları üzerinden cache-farkında routing'e dönüşüyor; autoscaling ise kuyruk derinliğine ve KV cache baskısına göre çalışıyor, cold start'lar dakikalarla ölçülüyor. SLO'lar time to first token, token başına süre ve goodput'a kayarken FinOps milyonla token başına ve kullanıcı oturumu başına maliyeti takip ediyor.

Zihinsel model

vLLM veya SGLang gibi bir inference motoru, model ağırlıklarını API olarak sunan sunucudur. Kılavuzdaki en yakın benzetme bir veritabanı sunucusu: başlangıçta büyük bir veri kümesini belleğe yükler, oturum başına durum tutar, işi dahili olarak zamanlar ve HTTP üzerinden yanıt verir. Büyük fark, çalışma kümesinin sistem RAM'i yerine küçük ve pahalı GPU belleğinde bulunması zorunluluğu — ayarlamaların çoğu tam olarak bununla ilgili. Dizüstü bilgisayardaki Ollama aynı fikrin küçük ölçekteki hali ve her hosted model API'si arka planda bir tane çalıştırıyor. Motorun üzerinde aritmetiği yapan kernel'ler, onların üzerinde motorları deploy eden ve yöneten bir control plane ile trafik modeller ve kopyalar arasında yönlendiren bir gateway yer alıyor.

Bellek matematiği ve yaygın hatalar

Ağırlıklar sabit ayak izidir: modellerin çoğu parametre başına iki bayt olarak geldiğinden 8B'lik bir model yaklaşık 16 GB GPU belleği gerektirir ve 48 GB'lık bir L40S'ın yaklaşık üçte ikisi diğer her şey için kalır. KV cache çalışma kümesidir ve kılavuz bunu bir modelin config'inden tahmin etmek için bir formül veriyor. FP16'daki Llama 3 70B için bu, token başına yaklaşık 320 KB ediyor; yani tek bir 128K token'lık sohbet yaklaşık 40 GB cache gerektiriyor — bu çoğu zaman tek bir GPU'nun kaç kullanıcıya hizmet verebileceğinin gerçek sınırıdır.

Üç boyutlandırma tuzağına dikkat çekiliyor. Mixture-of-experts modelleri her uzmanı bellekte tuttuğundan, toplam 320B ve aktif 18B parametreli bir model FP8'de hâlâ yaklaşık 320 GB gerektiriyor. Dtype tablosu yerine checkpoint boyutunu okumalısınız: Upbound bir MoE modelini dtype'larından 315 GB olarak tahmin etti, ama gerçek checkpoint 177,7 GB'ydı çünkü uzmanlar 4-bit biçiminde saklanmıştı. Runtime overhead — CUDA graph'ler, activation'lar ve fragmentation — nedeniyle başlangıçta sığan bir model günler sonra belleği tüketebilir. Ayrıca her istek iki aşamada çalışır: tüm girdiyi okuyup time to first token'ı belirleyen, compute-bound bir prefill ve ardından yanıtı tek tek token yazan decode aşaması.

Neden önemli

Açık modeller hosted frontier API'lerle aradaki farkı kapattıkça, bunları serve etmek bir araştırma uzmanlığı olmaktan çıkıp standart bir platform mühendisliği sorumluluğu haline geliyor. Bu kılavuz, dağınık topluluk bilgisini somut bellek aritmetiğiyle tek bir pratik başvuru kaynağında birleştiriyor ki bu gerçekten nadir. En az bunun kadar önemlisi, zor kısımların tanıdık olduğunu göstermesi — ağ, kimlik, observability ve maliyet kontrolü — yani üretimde halihazırda stateful servisler çalıştıran çok sayıda mühendisin inference rollerine, sandıklarından çok daha yakın olduğu anlamına geliyor.