· kaynak dev.to (home feed)
BASIT yasa, LLM prefill enerjisinin hidden dimension ile kuadratik ölçeklendiğini öngörüyor
Dört parametreli analitik bir model, LLM çıkarım (inference) enerjisini yaklaşık %12 hata payıyla öngördüğünü iddia ediyor; prefill maliyeti modelin hidden dimension'ının karesiyle artıyor — yani daha büyük modeller uzun promptlar için orantısız bir bedel ödüyor.

Çıkarım enerjisi için tek bir denklem
dev.to üzerinde yayınlanan, "The SIMPLE Law for Energy Cost of LLM Inference" adlı makaleyi özetleyen bir yazı, bir LLM çıkarım işleminin ne kadar enerji tüketeceğini öngören kapalı formda bir model tanımlıyor. Öne çıkan sonuç şu: prefill enerjisi — yani üretim başlamadan önce input prompt'unun işlenmesi için yapılan iş — modelin hidden dimension'ı ile kuadratik (kareli) biçimde büyüyor.
dev.to yazısına göre hidden dimension'ı iki katına çıkarmak prefill enerjisini dört katına çıkarırken, prompt'a bin token daha eklemek yalnızca doğrusal bir artışa yol açıyor. Bu asimetri trade-off'u açık hale getiriyor: enerji tüketimi sınırlı kalsın isteniyorsa, daha büyük modeller daha kısa promptlara ihtiyaç duyuyor.
Yasa maliyetleri nasıl ayrıştırıyor
SIMPLE çerçevesi, çıkarım enerjisini bir prefill amortisman bileşenine ve decode biriktirme bileşenlerine ayırıyor. Prefill terimi hidden size'ın karesiyle ölçekleniyor. KV-cache terimi bağlam (context) uzunluğuyla orantılı, bir sonraki token terimi ise üretilen token sayısında afin — doğrusal artı sabit bir ofset.
Bu ayrıştırma, maliyetlerin farklı aşamalarda nerede yoğunlaştığını açıklıyor. Erken aşama hesaplama, kuadratik prefill terimi tarafından domine edilirken; uzun üretim koşuları doğrusal KV-cache terimi tarafından domine ediliyor: her yeni üretilen key-value çifti, sonraki her decode adımında okunup yazılması gerektiğinden, bellek erişim maliyetini ham hesaplamadan daha hızlı şişiriyor. dev.to özeti ayrıca, akıl yürütme (reasoning) penceresini analitik olarak türetilmiş bir optimumun ötesine taşırmanın, token bütçesindeki dört katlık bir artışta, enerji birimi başına yararlı çıktıyı üç kata kadar düşürebildiğini bildiriyor.
Kompakt formül, rekabetçi doğruluk
Yazıya göre bu çalışmadan önce çıkarım maliyeti tahmin edicileri temelde black-box uydlardı (fit). Her mimari için ayrı kalibrasyon gerektiriyorlar, mimari hiperparametrelerini onlarca katsayıya katlıyorlar ve yeni bir model varyantı ortaya çıktığında ölçeklendirme çalışmalarını pahalı trace'leri yeniden çalıştırmaya zorluyorlardı.
SIMPLE yasası yalnızca dört parametreye ihtiyaç duyuyor ve tüm modeller arasında bir kez fitting ediliyor. H100 GPU'larda çalışan on üç yoğun (dense) modelin trace'lerinde, her mimari için tek bir parametre seti kullanmasına rağmen bildirildiğine göre 0,969'luk bir R² ve %11,97'lik bir ortalama mutlak yüzde hata elde etmiş — bu, önceki en iyi ampirik fitlere göre kabaca üç ila üç buçuk kat daha düşük bir hata.
Mühendisler bununla neler yapabilir
Yazıya göre formül birinci dereceden bir bütçe kontrolü olarak kullanılabilir: model boyutunu ve istenen bağlam uzunluğunu girin, gerçekçi bir enerji tahmini alın ve herhangi bir çıkarım çalıştırmadan önce promptları budayın. Bağlam uzunluğunu tarayan benchmark'lar, ampirik gecikme süresinin (latency) yanında SIMPLE tarafından tahmin edilen enerji eğrisini de raporlayabilir; böylece teorik minimumlar ile gözlemlenen optimum noktaların doğrudan bir karşılaştırması elde edilir. Ürün ekipleri ayrıca yasanın maliyet hassasiyeti olan dağıtımlarda daha uzun KV-cache'ler, daha agresif grouped-query attention veya daha küçük hidden dimension'lar arasında seçim yaparken bir tasarım kısıtı olarak görebilir.
Açık sorular
Çalışma, yasanın seyrek aktive edilen transformer'lara, quantize edilmiş ağırlıklara veya NVIDIA dışı hızlandırıcılara ne kadar iyi aktarıldığını açık bırakıyor. Türetimi yoğun (dense) matris çarpımlarını varsayıyor ve CPU'larda veya edge GPU'larda domine edebilecek cache-hierarchy etkilerini yok sayıyor. Ve enerji yalnızca maliyetin bir vekili olduğu için gecikme süresi (latency) ve throughput doğrudan ele alınmıyor — bir konfigürasyon enerji açısından verimli olabilir ama gerçek zamanlı servis için yine de çok yavaş olabilir.
Neden önemli
Uzun bağlamlı promptlar ve akıl yürütme tarzı iş yükleri sektör genelinde token bütçelerini yukarı itiyor ve şu ana kadar ekipler, faturayı tahmin etmek için her modeli her hedef GPU'da profillemek zorundaydı. Donanım davranışını kabaca %12 içinde takip eden dört parametreli analitik bir yasa, bunu bir ölçüm kampanyasından çıkarıp mühendislik hesabına dönüştürüyor. Kuadratik prefill sonucu ayrıca model tasarımındaki gerçek bir gerilimi sayısallaştırıyor: en büyük modeller, tam da en uzun girdiler tarafından en çok cezalandırılan modeller; uzun çıktı üretimi ise darboğazı KV-cache trafiğine kaydırıyor. Yasa tutarsa, agent, retrieval pipeline'ları veya uzun belge sistemleri kuran ekipler dağıtımdan önce enerjiyi bütçelayabilir — ilginç soru ise gelecekteki KV-cache mimarilerinin kuadratik kuralı yeniden yazıp yazmayacağı ya da mühendislerin bunun içinde tasarlamayı basitçe öğrenip öğrenmeyeceği olur.
- #llm
- #inference
- #energy-efficiency
- #machine-learning
- #gpu
İlgili yazılar
- Alibaba'nın Qwen4-Max'ı, 1,50 dolar/milyon input token API fiyatıyla görev maliyetlerinde %60'tan fazla düşüş iddiasında bulunuyor
- Alibaba'nın 1M token bağlam pencereli Qwen4-Max akıl yürütme modeli Vercel AI Gateway'de
- Anthropic, Claude Opus 5.5 Kullanıcılarına 'Think Hard' Tarzı Prompt İfadelerini Bırakmalarını Söylüyor