Yoğun yerel LLM'ler dizüstü bellek bant genişliğinin %87-91'ine ulaşırken MoE modeller %43-67'de kalıyor

Tek bir dizüstü bilgisayarda çalıştırılan sekiz yerel LLM'nin benchmark'ları, saniye başına token değerine dönüştürüldüğünde, yoğun modellerin bellek veriyolunu derecelendirilen hızının %87-91'iyle okuduğunu, mixture-of-experts modellerin ise ölçülen tavana ancak %43-67 ulaştığını gösteriyor. Temel ölçümler maruhana adlı bir okur tarafından yayımlandı, bant genişliği hesapları ise jaxsinclair'in dev.to'daki bir yazısına ait.

Kurulum

Test makinesi Windows 11 Arm64 çalışan bir Surface Laptop Ultra: 20 çekirdekli Grace CPU'yu 6.144 çekirdekli Blackwell GPU ile eşleştiren ve 256-bit arayüz üzerinde 128GB LPDDR5X-9400 barındıran bir RTX Spark N1X; NVIDIA'nın port kılavuzu bu platformu 300 GB/s olarak derecelendiriyor. Bağımsız incelemeler CPU tarafındaki kopyalamaları yaklaşık 122 GB/s olarak ölçtü; yazı bunu bir çelişki değil, farklı bir test olarak tanımlıyor.

Her model aynı llama.cpp derlemesinde, llama-bench'in tg128 üretim testiyle, speculative decoding kapalı, üç koşunun ortalaması alınarak ve standart sapma saniyede 0.7 tokenın altında olacak şekilde çalıştırıldı. Sonuçları çerçeveleyen iki ayrıntı var: NVIDIA'nın kılavuzuna göre yaklaşık 82GB'lık GPU payı ayrı VRAM yerine sistem DRAM'i tarafından destekleniyor, yani makine fiilen tek bir bellek havuzuna sahip. Ve en büyük koşu kullanılabilir 128GB'nin 64.5GB'ında zirve yaptı — hiçbir model kapasiteye takılmadı, dolayısıyla sınır bellek alanı değil, veriyoluydu.

Token'ları bayta çevirmek

Dönüşüm üç adımdan oluşuyor. Dosya boyutu toplam parametre sayısına bölünüyor ve parametre başına etkin bayt değeri bulunuyor. Bu değer aktif parametre sayısıyla çarpılarak üretilen bir token'ın okuması gereken bayt miktarı hesaplanıyor. Saniye başına token ile çarpım ise GB/s cinsinden ima edilen okuma hızını veriyor. Yöntem yoğun modeller için kesin, MoE için yaklaşıktır — bir token yalnızca aktive edilen expert'lerini okur — ve KV-cache trafiğini yok sayar, dolayısıyla her rakam gerçek veriyolu trafiğinin alt sınırıdır.

Yoğun satırlar gerçek tavanı tanımlıyor

Üç yoğun model üç farklı dosya boyutuyla geldi: Mistral Small 3.2 24B, Qwen3.8-27B ve Hermes 4.3 36B için 14.3, 16.5 ve 21.8GB; ve üç hız: saniyede 18.5, 16.5 ve 12.0 token. İma edilen bant genişlikleri 264.6, 272.2 ve 261.6 GB/s idi — birbirlerinin %4'ü içinde ve derecelendirilen 300'ün %87-91'i. jaxsinclair'in argümanı şu: tek bir sayıda yakınsayan üç bağımsız dosya, modelleri değil bellek sistemini ölçüyor. Bu dizüstündeki kullanılabilir tavan bu nedenle yaklaşık 265 GB/s; speğin yaklaşık %11 altında — ve MoE sonuçları da bu rakama göre değerlendirilmeli.

MoE modeller bir yönlendirme vergisi ödüyor

Beş seyrek model 114.3 ile 177.4 GB/s arasında, yani ölçülen tavanın %43-67'sine denk gelen değerlerde yer aldı. Aralık öğretici. Ağırlık başına yalnızca 2.38 bit'e quantize edilen Nemotron 3.5 Bolt 74B-A9B, 114.3 GB/s ile en kötü sonuçtu: daha az bayt hız satın almadı, çünkü veriyolu beklerken kernel, kazandırılan trafiği 2-bit ağırlıkları açmaya harcadı. gpt-oss-120B ise 177.4 GB/s, yani ölçülen tavanın %67'si ile verimli ucu işaret etti.

Yazı pratik takası açıkça ortaya koyuyor. Toplam 117B ve aktif 5.1B parametreli gpt-oss-120B, token başına 2.76GB okurken yoğun Qwen3.8-27B 16.5GB okuyor — bellek trafiğinde 6 kat indirim. Hız kazanımı 6 kat değil 3.9 kat, çünkü veriyolu doluluğu yoğun satırdaki %91'den seyrek satırda %59'a düşüyor. MoE indiriminin bir kısmı doğrudan yönlendirme yükü olarak geri ödeniyor.

Token hızları yanıltabilir

maruhana'nın bir model için yayımladığı ilk rakam saniyede yaklaşık 100 token'dı; kendisi düzeltti ve rakamın iki draft token'lı MTP speculative decoding içerdiğini ve thinking token'larının sayıldığını belirtti. Drafting kapalıyken aynı model llama.cpp'de saniyede 75.7 token, Ollama'da 81.5-81.7 token çalıştı. Draft'lı rakam 189.4 GB/s ima ederken draft'sız değer 143-154 GB/s idi; ancak speculative decoding her ağırlık okuması için birkaç token doğruladığından, drafting açık olduğunda saniye başına token artık bir bant genişliği göstergesi olmaktan çıkıyor. Yazının her yayımlanmış rakam için testi şu: drafting açıktı mı ve reasoning token'ları sayıldı mı?

Prefill işlem tarafını gösteriyor: 512 token'lık bir prompt'ta saniyede 3.092 token, 32.768 token'lık bir prompt'ta 2.138'e, yani %69'a düşüyor. Yalnızca üretim hızı, bir makinenin kullanımda nasıl hissettirdiğini asla anlatmaz.

Neden önemli

Birleşik bellekli dizüstülerde yerel modeller çalıştıran herkes için planlama rakamı, spec sayfasındaki 300 GB/s değil, yoğun bir modelin fiilen ulaşabildiği yaklaşık 265 GB/s. Veriler ayrıca MoE takasını nicelleştiriyor: büyük bir modelin kalitesi, bellek trafiğinde indirimle — indirimizin bir kısmı düşük veriyolu doluluğuna yenilse de — ve daha küçük quantize dosyalar hatta daha hızlı değil daha yavaş olabiliyor. Ayrıca farklı kurulumlardan gelen saniye başına token rakamlarının, drafting ve token sayımı açıklanmadıkça karşılaştırılamaz olduğuna dair bir uyarı. jaxsinclair, bu dizüstünün tavanına bağlam kazandırmak için ayrık 24GB kartlar ve Apple silikon makineler gibi donanımlardan eşleşen ölçümler — aynı yöntemle bir yoğun ve bir MoE model — talep ediyor.