Unsloth Dynamic v3.1 Quantization'ları Qwen3.8-27B'yi 17GB'lık Yerel Kurulumlarda Kullanılabilir Kılıyor

Ne değişti

Unsloth, Qwen3.8-27B'nin quantize edilmiş GGUF sürümlerini Dynamic v3.1 adını verdiği revize bir sıkıştırma yöntemiyle yeniden yayımladı. Hacker News ana sayfasına kadar yükselen 11 Kasım tarihli dokümantasyon güncellemesinde ekip, yeni dosyaların önceki quant'lara kıyasla benzer boyutlarda kodlama, agentic iş yükleri ve genel sohbet genelinde ortalama %5-10 doğruluk kazandığını belirtiyor.

Qwen3.8-27B, Qwen ekibinin geliştirdiği, görsel girdi kabul eden ve genişletilmiş akıl yürütme destekleyen, 256K token bağlam penceresine sahip yoğun (dense) 27 milyar parametreli bir model. Unsloth, modele sıfırıncı gün erişimi sağladığını ve sürümlerine Codex gibi agentic araçlar için Developer Role desteği ile araç çağrılarının daha sık başarılı olmasını sağlayan iyileştirilmiş iç içe nesne ayrıştırma özelliği eklediğini söylüyor.

2-bit'ten 6-bit'e kadar olan quant'ların çoğu v3.1 ile yeniden oluşturuldu. 3-bit kademesi bilinçli olarak dokunulmadı: Unsloth, mevcut 3-bit dosyalarının zaten v3.1 kalitesine ulaştığını tespit ettiği için yeniden yazımı gerekli görmedi. Aynı önizleme algoritması daha önce DeepSeek-V4.1-Flash ve Qwen3.8-Flash-Next'e uygulanmıştı ve Unsloth, Qwen4 ile gelecekteki modeller için daha ileri bir iyileştirmenin devam ettiğini belirtiyor.

Benchmark iddiaları

Unsloth, quant'ları 256K bağlamda agentic iş yükleri için Terminal Bench 2.1 ve DeepSWE v1.1 üzerinde, ayrıca 128K bağlamda LiveCodeBench v6, GPQA Diamond, MMLU-Pro ve AIME25 üzerinde değerlendirdi. Örneklemede temperature 1.0, top_p 0.95 ve top_k 20 kullanıldı; akıl yürütme en yüksek "xhigh" çabasına ayarlandı ve düşünme izleri korunarak saklandı. Ekip ayrıca quant seviyelerinin ve alanlarının çoğunda tam hassasiyetli modele karşı daha düşük KL ıraksaması bildiriyor.

Bir metodoloji tartışması

Dokümantasyonun önemli bir kısmı, yayımladığı karşılaştırmalarda Unsloth'un eski quant'larını LiveCodeBench'de ISTA'nın gerisinde gösteren GSQ-RCO'ya karşı çıkıyor. Unsloth, en küçük boyutlar hariç hepsinde tersini bulduğunu ve GSQ-RCO'nun yaklaşık 96K bağlam bütçesiyle çalıştırdığını tahmin ettiğini; 128K'da ise kendi quant'larının çok daha iyi performans gösterdiğini iddia ediyor.

AIME25'te Unsloth, ISTA'nın bildirdiği %100 doğruluk geri kazanımının, tahminine göre quant başına tek bir denemeye dayandığını savunuyor. 14 deneme sonucunda Unsloth %93-96 geri kazanım ölçüyor ve GPU belirsizliğinin (non-determinism) tek seferlik greedy-decoding çalışmalarını kanıt olarak güvenilmez kıldığına dikkat çekiyor. Ekip, sonuçları Math Verify ve LightEval ile yeniden puanladığında aynı sonuçlara ulaştığını ve greedy decoding'in her halükârda gerçek dünyadaki kullanımı temsil etmediğini söylüyor.

Unsloth ayrıca Exllama-v3'ün token embedding'lerini BF16'da tuttuğunu, bu durumun boyut-doğruluk karşılaştırmalarını karmaşıklaştırdığını belirtiyor ve daha düşük hassasiyetli embedding kullanan gelecekteki Exllama-v3 quant'larını memnuniyetle benchmark edeceğini söylüyor.

Yerel olarak çalıştırma

Pratik vaat donanımda yatıyor. Unsloth'a göre Qwen3.8-27B'nin 4-bit sürümleri RTX 5080 veya RTX 4090 gibi kartlarda 16-19GB VRAM'de ya da 24GB birleşik belleğe sahip bir Mac'te sığıyor; dokümantasyon genel olarak 17GB sınıfı kurulumlardan bahsediyor. Daha hızlı çıkarım için MTP'yi etkinleştirmek 1-2GB ek pay gerektiriyor. Bağlam penceresi varsayılan olarak 262.144 token ve YaRN ile 1M'e kadar uzatılabilir.

Model, düşünme ve düşünmeme modları için ayrı önerilen örnekleme ayarlarına sahip hibrit bir düşünür ve hız ile maliyet karşılığında derinlik takası yapmak için reasoning_effort düğmesi sunuyor — varsayılan xhigh, medium ve low da mevcut. Bir "Preserve Thinking" seçeneği, ekstra token maliyetiyle akıl yürütme izlerini sohbet turları arasında taşıyor; Unsloth bunun devam eden sohbetlerde doğruluğu artırabileceğini söylüyor.

Dağıtım; llama.cpp GGUF'leri, NVFP4 sürümleri ve RAM'e yükleme yapan ile çoklu GPU kurulumlarını otomatik algılayan macOS, Windows ve Linux için açık kaynaklı bir uygulama olan Unsloth Desktop'ı kapsıyor. Unsloth ayrıca çok daha büyük Qwen3.8-2.4T-A95B varyantının, orijinalinden %91 küçük, tek bitlik 397GB'lık bir GGUF'unu da yayımlıyor.

Neden önemli

Quantization kalitesi, büyük multimodal modellerin veri merkezleri dışında kullanılabilir olup olmadığını giderek daha çok belirliyor. İddia edilen kazanımlar doğruysa, 256K bağlamlı bir görsel akıl yürütme modeli tek bir tüketici GPU'sunda pratik hale geliyor. GSQ-RCO ile yaşanan tartışma, quant sıralamalarının deneme sayıları ve bağlam bütçeleri gibi göz alıcı olmayan metodoloji ayrıntılarına bağlı olduğunu ve alıcıların tek seferlik karşılaştırmalara şüpheyle yaklaşması gerektiğini hatırlatıyor. Sıfırıncı gün erişimi ve Qwen4 için önceden kuyruğa alınmış v3.1 hattı, quant araçlarının artık yeni model sürümlerini ne kadar yakından takip ettiğini de gösteriyor.