· kaynak Hacker News – Front Page (native)
LookAtMyQuant quantization derleyicisi, eşit dosya boyutunda Q4_K_M'ye kıyasla 12 kat daha düşük KL iddia ediyor
MIT lisanslı bir quantization derleyicisi, sıkıştırmadan önce bileşen bazında duyarlılık ölçüyor ve eşit boyutta Q4_K_M formatına göre 12 kat daha düşük KL sapması raporluyor; 27B'lik bir model 7.2 GB'a sığıyor.
Derleyici ne yapıyor
GitHub'da MIT lisansıyla yayımlanan ve Hacker News'in ön sayfasına çıkan LookAtMyQuant adlı proje, quantization'a ölçüm öncelikli bir yaklaşımla el atıyor. Depoya göre derleyici, bir modeldeki her saklı bileşenin sıkıştırıldığında çıktıyı ne kadar bozduğunu ölçüyor, ardından toplam bozulmayı en aza indirirken modelin tamamının boyut bütçesi içinde kalmasını sağlayacak şekilde her bileşene bir kod atıyor. Öne çıkan iddia şu: Gemma 4 E2B üzerinde, ürettiği GGUF çıktısı, aynı dosya boyutunda yaygın olarak kullanılan Q4_K_M formatına göre 12 kat daha düşük KL sapması gösteriyor.
Farklı model boyutlarında raporlanan sonuçlar
Depo, çeşitli ölçeklerde derlemeleri belgeliyor.
Qwen3.5-4B için araç, ağırlık başına 2.3 bit ile 1.23 GB'lık bir dosya üretiyor. 540 kesin cevaplı matematik probleminden oluşan bir sette 330'unu çözüyor; buna karşılık Prism ML'in 1.20 GB'lık Bonsai 2 Ternary 4B modeli 328, quantize edilmemiş orijinal ise 359 çözüyor. Ayrılmış metin üzerinde orijinale göre KL sapması 0.45 nat; Bonsai'de bu değer 0.59.
Qwen3.8-27B'de aynı reçete, modeli 53.7 GB'dan 7.2 GB'a, ağırlık başına 2.1 bite küçültüyor. Sıkıştırılmış model 540 matematik probleminin 401'ini çözüyor — orijinal kadar — ve aynı boyuttaki Unsloth UD-IQ2_XXS GGUF ise 348 çözüyor. Proje ayrıca daha yüksek HumanEval (%73.8'e karşı %67.1), MMLU (%78.8'e karşı %75.0) ve GSM8K (%94.5'e karşı %92.7) skorları bildiriyor. Modelle speculative decoding için eşlenen 1.02 GB'lık 4 bitlik DSpine drafter, Apple silicon üzerinde matematik ve kodda çözüm hızını kabaca ikiye katlıyor.
En büyük örnek, 26.4B parametreli ve 5.4B aktif bileşenli döngüsel mixture-of-experts modeli Inkling-2-Mini. Deponun SQYFR adını verdiği proximal fine-tuning aşamasıyla birleştiğinde, metin ağırlıkları 18.89 GB'dan ağırlık başına 1.63 bit ile 5.38 GB'a, ya da 2.69 bit ile 8.87 GB'a iniyor. 5.38 GB'lık derleme, %41 daha küçük olmasına rağmen hem GSM8K'da (200'ün 132'sine karşı 134) hem de HumanEval'de (164'ün 49'una karşı 60) Unsloth'un 9.14 GB'lık UD-Q2_K_XL'sini geçiyor; 8.87 GB'lık derleme ise GSM8K'da 200 üzerinden 148 ile BF16 teacher'a eşit oluyor. Projeye göre M5 Max üzerinde, küçük derleme 5.83 GB aktif RAM kullanarak saniyede medyan 125.2 token üretiyor.
Reçete nasıl çalışıyor
Yöntem, trellis kodlarıyla training sonrası quantization; yani sıfırdan yeniden eğitim yok. Kalibrasyon verisi hedef iş yüküne göre seçiliyor: Qwen3.5 derlemesi, modelin kendi çözümlü matematik cevapları üzerinde, rakam tokenlarına diğerlerinin on katı ağırlık verilerek kalibre edilmiş. Ardından bitler Fisher bilgisine göre satır bazında dağıtılıyor ve 4.000 adımlık bir distillation süreci izliyor; bu süreçte her katman orijinal ağırlıklardan bir kez yeniden quantize ediliyor. Depo, 4B reçetesinin toplam işlem maliyetini yaklaşık 34 dolarlık GPU süresi olarak veriyor.
Çalıştırmak
Apple silicon üzerinde bir runtime, PyTorch derleyici bağımlılıkları olmadan kuruluyor ve üretim ile sohbet için bir lamq komutu, ayrıca runtime_mlx.load'un mlx_lm ile uyumlu bir model ve tokenizer döndürdüğü bir Python API'si sunuyor. Derleyici iş akışının kendisi SmolLM2-360M üzerinde üç aşamada gösteriliyor: ölçüm aşaması, L40S üzerinde yaklaşık 50 dakika süren 2.312 duyarlılık ölçümünün tamamını içeriyor; bit bütçesi altında kodları seçen ve GPU gerektirmeyen tahsis aşaması; ve derleme aşaması, sonrasında araç perplexity ve KL sapmasını raporluyor. Belgelenen çalışma, ağırlık başına 3.044 bitte 16.64 perplexity ve 0.0926 KL değerine ulaşmış.
Neden önemli
Güçlü modelleri tüketici donanımından uzak tutan şey çoğu zaman ham işlem gücü değil, bellek. Raporlanan rakamlar bağımsız testlerde doğrulanırsa, 7.2 GB'a sığarken orijinal matematik doğruluğunu koruyan 27B sınıfı bir model, 16 GB'lık bir dizüstü bilgisayarın yerel olarak çalıştırabileceklerini değiştirir. Önce ölç sonra tahsis et çerçevesi kendi başına da dikkat çekici: sabit quantization reçeteleri yerine, sıkıştırma, ölçülmüş bileşen bazlı duyarlılık üzerinden bütçe kısıtlı bir optimizasyon problemine dönüşüyor. İki uyarı geçerli: Tüm rakamlar projenin kendi kıyaslama kurulumlarında kendi bildirdiği değerler ve runtime, Apple Silicon ile MLX'e ve özel Metal kernelara sıkı sıkıya odaklı; bu yüzden diğer platformlardaki sonuçlar farklı olabilir.
- #quantization
- #llm
- #open-source
- #apple-silicon
- #machine-learning