Qwen3.8-Flash-Next, 96 GB sistem RAM'i yanınızdaysa 24 GB'lık GPU'da 39 tok/s hızına ulaşıyor

Model aslında ne

Qwen3.8-Flash-Next, Qwen'ın temel deposunda deneysel bir önizleme olarak tanımlanıyor ve alanwest'in dev.to'da yayımladığı bir rehbere göre, Qwen4'ün temelini oluşturması beklenen mimarinin ilk açık ağırlıklı sürümü. Teknik özellik tablosu, boyutuyla ilgili kafa karışıklığını açıklıyor: toplam 125B parametre, token başına yalnızca 6B aktif parametre, 51B'lik bir n-gram embedding bileşeni ve 4B'lik bir multi-token prediction (MTP) başlığı.

Mixture-of-experts tasarımı 512 uzmanı 48 katmana yayıyor ve token başına 10 yönlendirilen artı 1 paylaşılan uzman aktif oluyor. Katmanlar Gated DeltaNet ve Qwen Sparse Attention bloklarını 3:1 örüntüsüyle dönüşümlü kullanıyor; model, Muon ve AdamW karışımıyla eğitilen gated residual bir tasarıma sahip. Doğal bağlam uzunluğu 262.144 token (YaRN ile bir milyona kadar uzatılabiliyor) ve bir görsel kodlayıcı da dahil. West, sürümün Apache 2.0 yerine qwen-community-1.0 lisansını kullandığını belirtiyor; ticari dağıtımdan önce bu lisansın okunmasında fayda var.

llama.cpp desteği 27 Ağustos 2026'da birleştirilen PR #27742 ile geldi; bu tarihten eski derlemeler qwen4exp mimarisini tanımayacak.

6B aktif parametreli model neden 111 GB'lık dosya olarak geliyor

West'in ana noktası, MoE'nin işlemeyi değil belleği tasarruf etmesi. Router her token'da farklı on uzman seçtiği için 512 uzmanın tamamı okunabilir bir yerde durmak zorunda. "Flash" ayak izine değil, decode hızına işaret ediyor: Unsloth'un GGUF deposundaki en küçük quant, 1-bit'lik bir dosya, 66.4 GB; yaygın kullanılan UD-Q4_K_XL ise 111 GB.

Kolayca gözden kaçan maliyet n-gram embedding tablosu — bir r/LocalLLaMA benchmark başlığının katman başına token embedding (PLE) tablosu dediği şey. Bu, 2. katmana beslenen, kabaca 20 milyon satırlı bir bigram ve trigram arama tablosu; 87.2 GiB'lık UD-IQ4_XS dosyası içinde 27.2 GiB olarak ölçülmüş. Unsloth'un belgeleri bu tabloyu BF16'da 102.4 GB, Q8_0'da 54.4 GB, Q5_1'de 38.4 GB ve IQ4_NL'de 28.8 GB olarak listeliyor ve hassasiyetini değiştirmek için set_split.py betiğiyle ayrı bir shard olarak sunuyor. Her token yalnızca birkaç satıra dokunduğu için tablo sistem RAM'inde durabilir ya da mmap üzerinden SSD'den sayfalabilir. GPU'ya koymak ise kaçınılması gereken tek hata: West, tablo RAM'deyken 108.5 tok/s decode hızından söz ediyor; CUDA'ya zorlandığındaysa rehberin 55 kat yavaşlama olarak nitelediği bir düşüş yaşanıyor.

KV cache karşılaştırıldığında çok küçük — 48 katmandan yalnızca 12'si attention katmanı ve her biri head dimension 256'da 2 KV head'e sahip; bu da F16'da token başına kabaca 24 KB, tam 262K bağlamda yaklaşık 6.4 GB ve 32K'da 1 GB'ın altında ediyor. West ayrıca Unsloth'un kendi gereksinim tablosunun "4-bit: 64 GB" yazdığını, bunun da 111.3 GB'lık dosya ve aynı sayfadaki en az 75 GB'lık bir başka rakamla çeliştiğini söylüyor. Tavsiye şu: planı dosya boyutuna göre yapın.

Gerçek dünya throughput'u

West modeli kişisel olarak çalıştırmamış; rakamlar model kartlarından ve topluluk benchmarklarından geliyor. 96 GB DDR5'e sahip bir RTX PRO 6000 96GB'da yapılan bir r/LocalLLaMA testi, UD-IQ4_XS ile 2K'lık bir prompt'ta 109.07 tok/s, 245K bağlamda ise 21.61 tok/s decode hızı ölçmüş. Aynı makinede 24 GB VRAM bütçesi simüle edildiğinde bile 39.01 tok/s alınmış; 48 uzman katmanının tamamının RAM'de olduğu 8 GB'lık kademeyse 35.69 tok/s'e ulaşmış. Yalnızca CPU ile decode 8.34 tok/s olmuş. West, simüle edilen kademelerin gerçek bir 4090'ın nasıl davrandığını değil, offloading'in maliyetini gösterdiğini hatırlatıyor.

Ayrıca contextstudios.ai, UD-Q4_K_XL artı draft head ile bir DGX Spark'ta 24.2 tok/s ölçmüş; lilting.ch ise ağır bir 1-bit karışımıyla M1 Max 64GB üzerinde kabaca 18 tok/s almış — West bu sonucu güvenilir bulmuyor; 0.2277'lik bir KLD, uydurulmuş bir oyun adı, bir render hatası ve sürekli swap yapan bir makine gerekçesi olarak sıralıyor.

Kendiniz çalıştırmak

En hızlı yol, unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL'i gösteren llama.cpp'ın OpenAI uyumlu sunucusu. MTP draft head ile speculative decoding, --spec-type draft-mtp ve --spec-draft-n-max 5 kullanıyor; Unsloth 1.3–1.7x hızlanma iddia ediyor, düşük bant genişlikli donanımda bu oran daha küçük. Ana hattaki MTP desteği 1 Ekim 2026'da birleştirildi (PR #29761); hazır bir derleme head'i yok sayarsa qwen4exp/mtp dalına dönün. Thinking modu için önerilen sampling değerleri: temperature 1.0, top-p 0.95, top-k 20, min-p 0; thinking dışı modda ise temperature 0.7, top-p 0.80 ve presence penalty 1.5. Ollama GGUF'u doğrudan çekebiliyor ama Unsloth'un belgelerinde adı geçmiyor, yeni mimari desteği belirsiz ve komut 111 GB'lık dosyanın tamamını indiriyor.

Neden önemli

39 tok/s sonucu, büyük MoE modelleri için self-hosting ekonomisini yeniden çerçeveliyor: darboğaz GPU VRAM'i değil, toplam sistem belleği. Mütevazı bir 24 GB'lık kart, yanına 96 GB DDR5 eklenince sınıfının önünde açık bir modeli çalıştırmanın geçerli bir yolu hâline geliyor; bu da donanım bütçelerini RAM'e kaydırıyor. Rehber ayrıca model markalamasını ve resmî gereksinim tablolarını olduğu gibi kabul etmemek konusunda bir uyarı — ve topluluk benchmarklarının, simüle edilenler dahi olsa, belgelendirme boşluğunu nasıl doldurduğunun bir kanıtı.