Aynı model üzerinde yapılan quantization testinde NVFP4, Ada GPU'da BF16'dan 2,3 kat hızlı decode ediyor

Bir geliştirici, NVFP4, FP8, MXFP8 ve GGUF quantization'larını aynı model üzerinde karşılaştırdı ve öne çıkan rakam, GSM8K doğruluğu sabit kalırken NVFP4'ün BF16'a göre decode'da sağladığı 2,3 kat hız artışı. Efrain Garay tarafından dev.to'da paylaşılan test, 16 Ekim'de aynı anda BF16, NVFP4, MXFP8 ve GGUF formatlarında yayınlanan NVIDIA Nemotron Labs Dory 1.0 4B modelini, FP4 yürütme donanımı bulunmayan 16 GB'lık bir Ada Lovelace kartı olan RTX 4070 Ti SUPER üzerinde çalıştırdı.

Tek model, beş format

Quantization karşılaştırmaları genellikle farklı kişiler tarafından sıkıştırılmış, birbiriyle ilgisiz checkpoint'lerle bulanıklaşır. Burada her format aynı temel ağırlıklardan türetilmiş ve testi bu yönüyle olağanüstü kılan da bu. Garay ayrıca herhangi bir ölçüm yapmadan önce kuralları sabitlediğini, metodolojiyi önceden kaydettiğini ve sonuçlarla birlikte script'leri de yayınladığını belirtiyor.

Sayıları doğru yorumlamak için GPU seçimi önemli. Ada silikonunda yerel FP4 birimleri bulunmadığından NVFP4, weight-only bir Marlin kernel üzerinden çalışıyor: checkpoint bellekte küçük kalıyor ama aritmetiğin kendisi 16-bit hassasiyette yürütülüyor.

Decode throughput'u

vLLM ile batch size 1'de ölçülen üretim hızı, ağırlık boyutunu takip etti:

• BF16 — saniyede 51,0 token, 7,69 GiB ağırlık
• FP8 (per-tensor W8A8) — saniyede 78,5 token, 4,67 GiB
• MXFP8 — saniyede 81,4 token, 4,76 GiB
• NVFP4 — saniyede 116,8 token, 3,28 GiB

NVFP4, BF16'ın throughput'unun 2,3 katı ile tablonun zirvesinde yer aldı. llama.cpp üzerinden çalıştırılan GGUF Q5_K_M ise 3,42 GiB'lık bir dosyayla saniyede 58,8 token ile BF16'a yakın bir sonuç aldı — yerel LLM kullanıcıları için faydalı bir referans, ancak farklı motor kullanımı bu karşılaştırmada formatın tek değişken olmadığı anlamına geliyor.

Prompt işleme sıralamayı tersine çeviriyor

2.048 token'lık bir prompt'u işleme sokmak farklı bir tablo çizdi. FP8 saniyede 10.118 token ile önde yer aldı; onu 7.003 ile BF16, 6.978 ile NVFP4, 6.061 ile MXFP8 ve 1.710 ile GGUF izledi. Garay'a göre FP8, set içinde Ada'nın çarpma işlemlerini gerçekten 8-bit aritmetikle yürüttüğü tek format — işin uzun bir bağlamı hazmetmek而不是 tek tek token üretmek olduğu durumlarda öne çıkmasının olası nedeni bu.

GSM8K'da doğruluk korunuyor, token bazında ayrışıyor

Tam GSM8K setinde — 8.192 token sınırıyla 1.319 soru — vLLM formatları fiilen eşit kaldı: BF16 1.249 soruyu doğru yanıtladı, MXFP8 1.250, FP8 1.241 ve NVFP4 1.238. Üç quantize varyantın tümü BF16'ın ±3 puan içinde ve Garay, yüzde 95 güven aralıklarının ±2 puan içinde kaldığını bildiriyor.

Formatların ayrıştığı yer token düzeyindeki uyum. Sabit İngilizce ve İspanyolca metinlerde NVFP4, BF16'ın bir sonraki token'ını yüzde 89–90 oranında birebir doğru tahmin ederken bu oran FP8 ve MXFP8 için yüzde 94–96 idi; perplexity ise neredeyse değişmedi. MXFP8, BF16 dağılımını en yakın takip eden format oldu — benchmark eşitliği ile token düzeyindeki sapmanın bir arada varlabileceğinin bir hatırlatıcısı.

Temiz ölçümden önce ne bozuktu

Yazı ayrıca ölçümden önce yaşanan sorunları da belgeliyor: llama.cpp dönüştürücüsü herkese açık checkpoint'i reddetti, bir prefix cache başlangıçta prefill sayılarını şişirdi ve bir noktada kesilen reasoning bir cevap olarak puanlandı. Bir denetim, Garay'ın kendi ilk fidelity çalışmasındaki bir hatayı da yakaladı. Sonuçları tekrarlamaya çalışan herkes için bu notlar, öne çıkan rakamlar kadar değerli olabilir.

Neden önemli

FP4 donanımı olmayan GPU'larda yerel LLM ile çalışanlar için bu sonuç, NVFP4'ü yükseltme yapmadan önce bile denemeye değer kılmakta: weight-only kernel yolu, daha küçük bir checkpoint'i eşdeğer GSM8K kalitesinde 2,3 katlık bir decode hız artışına dönüştürüyor; bedeli ise 8-bit formatlara göre biraz daha düşük next-token uyumu. Garay'ın rakamları ayrıca pratik bir ayrımı ima ediyor — bant genişliğine düşkün üretim için NVFP4, uzun prompt'lu iş yükleri için FP8. Ve NVIDIA'nın tek bir modeli tüm büyük formatlarda aynı gün yayınlaması, formatların kendisini değil de onları quantize eden kişinin tercihlerini ölçme sorunu ortadan kaldırdı; diğer model yayınları da bu kalıbı takip edebilir.