· kaynak dev.to (home feed)
Tek bir aykırı değer, INT4 absmax quantization altında bir vektörün yüzde 99,98'ini sıfırlıyor
dev.to'da paylaşılan bir deney, içine yerleştirilen tek bir 60 değerinin INT4 absmax quantization altında 4.096 float'ın 4.095'ini sıfıra yuvarladığını gösteriyor; bu da GPTQ, AWQ ve bitsandbytes'in neden aykırı değere duyarlı varsayılanlarla geldiğini açıklıyor.

dev.to'da paylaşılan kontrollü bir deney, naif düşük bitli quantization'ın ne kadar kırılgan olabileceğini gösteriyor: standart normal dağılımlı 4.096 float'tan oluşan bir vektöre yerleştirilen tek bir 60 değeri, INT4 absmax quantization'ın geri kalan 4.095 değerin tamamını tam olarak sıfıra yuvarlamasına yol açtı. Aykırı değerin kendisi kusursuz şekilde korunurken, vektörün yüzde 99,98'i silindi.
Gönderiye göre bu tek sonuç, büyük dil modelleri quantize edilirken ters giden şeylerin çoğunu açıklıyor: per-tensor INT4'ün neden hiçbir zaman kullanıma sunulmadığını, GPTQ ve AWQ'nun neden 128'lik bir group size ile varsayılan olarak geldiğini ve bitsandbytes'ın neden çoğu kullanıcının hiç dokunmadığı bir aykırı değer eşiği ayarı sunduğunu.
Absmax quantization nasıl bozuluyor
Absmax quantization, float'ları her blok için tek bir scale kullanarak işaretli bir tam sayı ızgarasına eşler: max(|x|) / qmax'a böl, sonra yuvarla ve kırp. INT8 için qmax 127'dir; INT4 içinse 7'dir. Zayıflık yapısaldır — tek bir max() çağrısı bloktaki her değer için adım büyüklüğünü belirler ve yarım adımdan küçük her şey sıfıra yuvarlanır.
- indekse yerleştirilen 60 değeriyle INT4 adımı 60 / 7'ye, yani yaklaşık 8,57'ye büyür ve sıfır çevresindeki ölü bölge 4,29'a genişler. Gauss değerlerinin hiçbiri bu büyüklüğü aşmadığından 4.095 değerin tamamı sıfıra yuvarlandı ve yalnızca normal değerler üzerinde ölçülen göreli hata yüzde 100'e ulaştı.
INT8 daha incelikli biçimde bozuluyor. Gönderi, aynı aykırı değerin normal değerlere 255 seviyenin tamamı yerine yalnızca 16 farklı seviye bıraktığını, göreli hatanın yüzde 0,89'dan yüzde 13,78'e yükseldiğini bildiriyor. Tensor hâlâ temiz şekilde dequantize ediliyor — tam sayı ızgarası seviyelerinin 239'unu yalnızca aykırı değerin kapladığı bir aralığa harcıyor.
Hasar matmul'a kadar ulaşıyor
Quantize edilmiş aktivasyonlar matris çarpımlarını beslediği için yazar, 4.095 normal değerin rastgele bir ağırlık vektörüyle nokta çarpımını da hesapladı. Gerçek katkı -19,22 idi. Aykırı değer varken INT8 quantization'dan sonra -8,96'ya düştü ve sinyalin yarısından fazlası kayboldu. INT4'ten sonra ise tam olarak 0,00 oldu. Aykırı değerin kendi terimi hâlâ doğru yerini buluyor; sıradan boyutlar sadece katkıda bulunmayı bırakıyor. Gerçek bir transformer'da bu boyutlar hidden state'in çoğunu taşıdığından başarısızlık bir çökme而不是 daha kötü perplexity veya tuhaf üretimler olarak ortaya çıkıyor — başka bir yerdeki hatayla kolayca karıştırılabilecek şekilde.
Gerçek modellerde böyle aykırı değerler var
Gönderi, milyarlarca parametreli modellerin katmanlar ve token'lar arasında tutarlı biçimde görünen, değerleri geri kalanından çok daha büyük az sayıda hidden state özellik boyutu geliştirdiğini ortaya koyan LLM.int8() makalesine (Dettmers ve ark., 2022) işaret ediyor. Bu ortaya çıkan aykırı değer özellikleri model kalitesi için önemli görünmektedir, ki bu da onları basitçe kırpma seçeneğini eler.
Kütüphanelerin bu sorunu aşmasının üç yolu
İlk düzeltme group-wise scale'ler: tensor'ü her biri kendi absmax scale'ine sahip küçük gruplara böl, böylece bir aykırı değer yalnızca kendi grubunu mahvedebilir. 128'lik gruplarla, yerleştirilen aykırı değer INT4 altında grubundaki 127 komşusunun tamamını hâlâ sıfırladı, ama diğer 31 gruba dokunmadı. group_size=128'in GPTQ ve AWQ'da varsayılan olmasının ve llama.cpp'in ağırlık başına kabaca 0,125 ekstra bit maliyetiyle küçük blok başına bir scale saklamasının nedeni budur.
İkincisi, LLM.int8()'daki gibi mixed-precision ayrışması: eşiğin üzerindeki aktivasyonlar FP16'da hesaplanırken diğer her şey INT8 yolundan geçiyor. bitsandbytes'ta bu, varsayılanı 6,0 olan llm_int8_threshold ayarıdır. Bu numaranın test vektörü üzerindeki kaba bir versiyonu göreli hatayı temiz çalışmayla aynı şekilde yüzde 0,89'a geri getirdi. Ödün hızdan kesiliyor, çünkü iki matmul birbirine dikilmek zorunda — yazar bunun, 8 bit bitsandbytes çıkarımının aynı GPU'da neden çoğu zaman FP16'dan yavaş olduğunu söylüyor.
Üçüncüsü, her aktivasyon kanalını kanal başına bir çarpanla bölen ve eşleşen ağırlık satırını aynı çarpanla çarpan SmoothQuant (Xiao ve ark., 2022). Matmul sonucu matematiksel olarak aynıdır, ama aktivasyon aykırı değerleri küçülürken quantize etmesi daha kolay olan ağırlıklar farkı emer. Genellikle 0,5'ten başlayan bir migration strength parametresi, zorluğun ne kadarının aktivasyonlardan ağırlıklara taşınacağını denetler.
Neden önemli
Quantization artık büyük modelleri tüketici donanımında çalıştırmanın varsayılan yolu ve bu deney, en yaygın başarısızlığının arkasındaki mekanizmayı yalıtıyor: paylaşılan tek bir scale, tek bir değerin diğer her şeyin hassasiyetini belirlemesine izin veriyor. Başarısızlık sessiz; hata yerine bozulmuş çıktı üretiyor ve pratikçilerin sorgulamadan config dosyalarından kopyaladığı ayarları açıklıyor. Quantization parametreleri seçen ya da tam hassasiyetli temel çizgisinin gerisinde kalan quantize edilmiş bir modelde hata ayıklayan herkes, fiilen bu üç hafifletme stratejisi arasında seçim yapıyor — ve artık varsayılanların neden böyle göründüğünü biliyor.
- #quantization
- #machine-learning
- #llm
- #int4
- #inference
İlgili yazılar
- LookAtMyQuant quantization derleyicisi, eşit dosya boyutunda Q4_K_M'ye kıyasla 12 kat daha düşük KL iddia ediyor
- NVIDIA Dynamo 1.6.2, aşırı büyük prompt'ları HTTP 400'e çeviriyor ve SGLang için isteğe bağlı GC dondurma ekliyor
- VLM fine-tuning verisindeki gizli tercihler, student modellere distillation yoluyla aktarılıyor