Huawei, MACaQ adlı quantizer'ı açık kaynak yaptı: 122 milyar parametreli modeller 32,5 GB bellekle küçültülebiliyor

Huawei dahili quantizer'ını açık kaynak yaptı

Huawei, dahili kullanım için geliştirdiği kuantizasyon araç seti MACaQ'yı Apache 2.0 lisansıyla açık kaynak bir proje olarak yayımladı. Depo, Huawei'nin huawei-csl GitHub organizasyonu altında ortaya çıktı ve 11 Kasım 2026'da Hacker News'in ana sayfasına ulaştı. MACaQ, yerel çıkarım (inference) için modelden bağımsız bir quantizer olarak konumlandırılıyor: llama.cpp için GGUF dosyaları ve vLLM, Diffusers ile PyTorch için sıkıştırılmış checkpoint'ler üretiyor; metin, görüntü, video ve ses modellerini kapsıyor.

arXiv'te listelenen eşlik eden makale, yöntemi düşük hassasiyetli ağırlıklar ve aktivasyonlar için hızlı, modelden bağımsız kalibre edilmiş kuantizasyon olarak tanımlıyor.

Öne çıkan sayılar

Projenin README'sine göre MACaQ, 122 milyar parametreli bir modeli 32,5 GB cihaz belleği kullanarak 64 dakikada kuantize edebiliyor. Bellek figürü süreden daha önemli: bu, uç ölçekli (frontier-scale) modellerin sıkıştırılmasını çok kartlı bir sunucu yerine tek bir üst seviye GPU'nun erişimine sokuyor.

README ayrıca MR-GPTQ ve DuQuant++'dan daha düşük perplexity değerleri ya da bu yöntemlerin en iyi Llama-3-8B perplexity değerini, kuantizasyon süresini 11 kat azaltarak yakalama yeteneği iddia ediyor.

vLLM üzerinden sunulan Qwen3.8-27B için depo, MACaQ'nun W4A4 modunda 2,8994 perplexity bildiriyor; bu değer BF16 için 2,8463. Prefill hızı BF16 taban çizgisine göre 2,33×, decode hızı ise 2,58×. Her üretici tarafından yayımlanan kıyaslama sonucu gibi, bu rakamlar da bağımsız doğrulama bekliyor.

İş yüküne göre ayrılan backend'ler

MACaQ, her biri kendi Python 3.12 ortamında çalışacak şekilde tasarlanmış dört backend etrafında yapılandırılmış:

• llama.cpp metin üretimini üstleniyor; 2-, 3- ve 4-bit GGUF dosyaları yazıyor ve CPU üzerinde çalışmayı destekliyor. Depo; yoğun (dense) Qwen3 modelleri, Qwen3-Next-80B-A3B-Instruct ve OLMoE-1B-7B-0125-Instruct gibi mixture-of-experts varyantları için tarifler ve modele özgü iş akışları içeriyor. Ayrıca MACaQ'nun Qwen3-4B çıktısını yayımlanmış GGUF'lerle dosya boyutu ve FP16'dan KL ıraksaması açısından karşılaştırmalı bir analiz sunuyor.
• vLLM metin üretimi ve servis vermeyi hedefliyor; varsayılan çıkarım modu olarak W4A4 (4-bit ağırlık ve aktivasyon) ve yalnızca ağırlık (weight-only) seçeneği sunuyor.
• Diffusers, W4A4'te görüntü, video ve ses üretimini kapsıyor; FLUX.2-klein-4B, Wan2.2-TI2V-5B ve stable-audio-1.0 için örnek iş akışları içeriyor. Görüntüden videoya modeller, koşullandırma görüntüleri kullanılarak kalibre ediliyor.
• PyTorch, yine W4A4'te konuşma üretimini üstleniyor; kalibrasyonu tekrarlamadan yeniden yüklenebilen kayıtlı checkpoint'ler sunuyor.

Huawei'nin kendi çipileri için beşinci bir yol daha var: W4A4 yoğun ve gruplanmış matmul çekirdekleri (kernel), iki açık pull request ile CANN yığınına sunuldu; ancak modelin tamamını çalıştırmak hâlâ bir Ascend çıkarım runtime'ı ile entegrasyon gerektiriyor.

README'deki bir ayrıntı içinde bulunduğumuz anı özetliyor: kullanıcıdan projeye destek olmak için depoya yıldız vermelerini istiyor ve hitap ettiği kullanıcılar arasında yapay zeka ajanlarını açıkça sayıyor.

Neden önemli

Kuantizasyon, yerel çıkarımı pratik kılan şeydir ve bugün açık modelleri çalıştıranların çoğu, başka birisinin kuantize edip yüklediği GGUF dosyalarına güveniyor. 122 milyar parametreli bir modeli 32,5 GB bellek içinde sıkıştırabilen bir araç, bu işi kullanıcının lehine kaydırıyor: meraklılar ve ekipler kendi dosyalarını üretebilir, bit genişliğini seçebilir ve kaliteyi üçüncü taraf yüklemelere güvenmek yerine özgün FP16 modelle karşılaştırarak doğrulayabilir.

Kapsam genişliği hikâyenin diğer yarısı. Kuantizasyon araştırmaları ve araçları ezici ölçüde metin odaklı kaldığından, yalnızca LLM'ler için değil, difüzyon transformer'ları ve konuşma modelleri için de çalışan iş akışları sunmak, sıkıştırılmış yerel çıkarımı üretken medyaya taşıyor.

Huawei için bu yayım aynı zamanda bir ekosistem inşası. Apache 2.0 lisansı benimsenmeyi teşvik ederken, beklemedeki CANN çekirdekleri aracı Ascend hızlandırıcılarına bağlıyor. Performans iddiaları Huawei'nin kendi ölçümleri; arkasında bir makale bulunan bir README'de yayımlandılar, bu yüzden rakamları kesinleşmiş değil umut verici olarak değerlendirin. Yine de hızlı, düşük bellekli, modelden bağımsız bir quantizer, tam olarak yerel çıkarım topluluğunun talep ettiği şey.