DSpark draft modeli, Spark-X2.6-4B için BF16'dan 2 kattan fazla çıkarım hızını iddia ediyor

DSpark nedir

Spark-X2.6-4B'nin geliştirici ekibi, 4B modeli spekülatif decoding ile hızlandırmak üzere tasarlanmış 624 milyon parametreli bir draft model olan DSpark'ı yayınladı. 31 Ekim 2026'da dev.to üzerinde yayımlanan bir duyuruya göre, draft modeli etkinleştirildiğinde ortalama BF16 çıkarım verimi iki kattan fazla artıyor: NVIDIA RTX 4090 üzerinde llama.cpp ile 2.14x ve Apple M5 Pro üzerinde MLX ile 2.50x; bu değerler ekibin rapor verdiği altı veri kümesi genelinde ortalamadır.

DSpark bağımsız bir sohbet modeli değil. Spark-X2.6-4B-GGUF'ye eşlik eden bir model olarak çalışıyor: küçük draft modeli her geçişte yedi adede kadar aday token üretiyor ve 4B hedef model hepsini tek bir paralel adımda doğruluyor. Birkaç tokeni aynı anda onaylamak, hedef modelin aynı metni üretmesi için daha az ardışık decoding adımı atması anlamına geliyor. Draft model BF16 GGUF formatında sunuluyor; hedef model ise BF16 veya kuantalanmış GGUF ağırlıklarıyla çalışabiliyor.

Bildirilen rakamlar

Hedef, cihaz, runtime	Ortalama hızlanma	Verim, DSpark'sız → DSpark'lı
BF16, RTX 4090, llama.cpp	2.14x	95 → 203 tok/s
BF16, M5 Pro, MLX	2.50x	31 → 77 tok/s
Q4_K_M, RTX 4090, llama.cpp	1.98x	226 → 447 tok/s
INT4, M5 Pro, MLX	1.62x	71 → 115 tok/s

Benchmarklar AIME25, GSM8K, MATH500, HumanEval, MBPP ve Arena-Hard-v2 kapsıyor. Setteki en iyi tek sonuç, M5 Pro'da BF16 ile MATH500 üzerinde elde edilen 2.94x hızlanma; en yüksek ham verim ise RTX 4090'da Q4_K_M ile GSM8K üzerinde saniyede 532 token. Duyurunun da belirttiği gibi, bu zirveler iki farklı test yapılandırmasından geliyor.

Ekip ayrıca, yedi draft token ve en fazla 4.096 token çıktıyla alınan kabul uzunluğu ölçümlerini paylaşıyor: dört yapılandırma genelinde ortalamalar 4.0236 ile 4.5522 arasında. Bu sayı, hedef modelin kendisinin ürettiği bir ekstra tokeni içeriyor; yani üst sınır sekiz ve tipik bir geçiş, teorik olarak mevcut tokenlerin sadece yarısından biraz fazlasını onaylıyor.

Uyarılar ve pratik bilgiler

dev.to yazısı, bu rakamların yeni bir bağımsız benchmarktan değil yayımlanan model kartından geldiğini ve sonuçların donanıma, hassasiyete ve iş yüküne göre değiştiğini açıkça belirtiyor. Verilerdeki gözle görülür bir örüntü şu: kuantalanmış hedefler (1.62x ile 1.98x), BF16 hedeflere (2.14x ile 2.50x) göre daha az kazanç sağlıyor; muhtemelen kuantalanmış bir hedef zaten hızlı decoding yaptığı için draft modelin sabit ek yükü her adımda daha büyük bir paya dönüşüyor.

Entegrasyon tarafında, belgelenen kurulum llama.cpp'nin XHToken fork'unu hedefliyor ve komutlar Linux, Bash ve NVIDIA GPU'lar için yazılmış durumda. Upstream llama.cpp desteğinin üzerinde çalışıldığı belirtiliyor; MLX sonuçları ise ayrıca belgelenmiş. Ağırlıklar Hugging Face ve ModelScope üzerinde mevcut ve Spark-X2.6 serisi Apache 2.0 ile lisanslanmış.

Neden önemli

Spekülatif decoding, modeli küçültmeden yerel LLM çıkarımını hızlandıran az sayıdaki yöntemden biri ve 4B sınıfı zaten tüketici GPU'ları ile Apple Silicon için ideal bir nokta. Bildirilen kazançlar gerçek iş yüklerinde tutarsa, DSpark, çıktı kalitesi draft değil hedef modele bağlı kalacağı için Spark-X2.6-4B'nin yanıt hızını çok daha küçük bir modelininkine yaklaştırırken doğrulamayı yine 4B hedef modelde tutuyor.

Kabul uzunluğu rakamları ayrıca sınırlara işaret ediyor. Geçiş başına olası sekiz tokenden kabaca 4 ile 4,5 arası onaylanırken, fiili hızlanma her iş yükünün metninin ne kadar öngörülebilir olduğuna bağlı olacak — yapılandırılmış çıktılar açık uçlu üretimden daha iyi sonuç alabilir. Buradaki her rakam satıcı tarafından yayımlandığından, akıllıca hareket, ekibin kendisinin de davet ettiği şey: ağırlıkları indirin ve kendi cihazınızda, kendi runtime'ınızla ve kendi hassasiyetinizde ölçün.