VIDRAFT POCKET'un seyrek MoE modelleri 180 milyar parametreli bir LLM'yi 8 GB VRAM'li bir dizüstünde çalıştırıyor

VIDRAFT POCKET nedir

Orijinal kaynağı olarak Çin'deki NetEase'in 1 Kasım 2026 tarihli haberini gösteren bir dev.to yazısına göre VIDRAFT POCKET, özellikle tüketici donanımı için üretilmiş GGUF formatında dil modellerinden oluşan bir aile. Projeyi üç ilke yönetiyor: her dosya, özel bir fork, CUDA gereksinimi veya bulut çağrısı olmadan standart, değiştirilmemiş llama.cpp derlemesine — dolayısıyla Ollama, LM Studio ve PocketPal'a — yüklenmek zorunda; modeller seyrek Mixture-of-Experts (MoE) tasarımını kullanıyor, böylece herhangi bir token için toplam ağırlıkların yalnızca küçük bir bölümü devreye giriyor; ve her performans rakamı teorik projeksiyonlar yerine aynı makinede, aynı binary ile yapılan ölçümlerden geliyor.

Benimsenme oldukça fazla. 1 Kasım 2026 itibarıyla ailenin Hugging Face depoları, önceki 30 günde toplam 1.113.164 ve toplamda 3.154.913 indirme kaydetmişti. Amiral gemisi POCKET-Darwin-180B o noktada bir aydan kısa süredir yayındaydı; bu yüzden 30 günlük ve toplam sayıları birbirinin aynısı.

Seyrek MoE hesabı nasıl değiştiriyor

POCKET'un arkasındaki mühendislik bahsi, seyrek bir MoE modelinin toplam parametre sayısı ile her ileri geçişte fiilen etkinleşen parametre sayısı arasındaki uçurum. 180 milyar parametreli bir MoE modeli token başına o ağırlıkların yalnızca bir kesrini kullanabilir; bu da bellek bant genişliğini ve çıkarımın gerektirdiği işlem gücünü, aynı nominal boyuttaki yoğun bir modele kıyasla ciddi biçimde azaltır.

Modeller, llama.cpp tabanlı runtime'ların standart değişim formatı olan GGUF dosyaları olarak sunuluyor ve GGUF karışık hassasiyetli quantization'ı destekliyor — farklı katmanlar farklı bit genişliklerinde sıkıştırılabiliyor. Ailedeki 26B modelin 2-bit quantization'da baseline kalitesine yakın kalması ve POCKET-Darwin-180B'nin 4-bit varyantının, kaynaktaki kalite kıyaslamasında yüzde 87,65 alması (makaleye göre BF16 baseline'ıyla eşit bir rakam) bu sayede mümkün. dev.to yazısı, belirli benchmark paketinin adının verilmediğini açıkça belirtiyor; dolayısıyla o yüzdesi standartlaştırılmış bir sonuç değil, dahili bir tutarlılık denetimi olarak okunmalı.

Ölçülmüş verimlilik

dev.to yazısı aynı binary, aynı makine karşılaştırmaları raporluyor. 16 iş parçacıklı bir Xeon CPU'da POCKET-35B saniyede 27,0 token üretirken karşılaştırma modeli Bonsai-27B 10,1 tok/s'de kaldı. Bir H100 GPU'da POCKET-35B 197 tok/s'ye ulaşırken Bonsai-27B 89 tok/s'de kaldı.

Makalenin dikkat çektiği bir uyarı var: üretim hızı ve prefill hızı farklı metriklerdir ve H100'deki prompt işlemede karşılaştırma modeli öne geçti — 1.816 tok/s'ye karşılık POCKET-35B için 753 tok/s. Uzun promptların ağır bastığı iş yükleri her iki sayıyı da göz önünde bulundurmalı.

Donanım gereksinimleri

Dosya boyutları tabanı belirliyor. Q2_K'daki POCKET-35B 13 GB yer kaplıyor, yalnızca CPU'lu bir makinede çalışıyor ve bir MacBook M3 Pro'nun CPU'sunda 19,5 tok/s olarak ölçüldü. 4-bit'teki POCKET-Darwin-180B ise 111 GB'lık bir dosya; 8 GB VRAM ile 32 GB RAM'i birleştiren (toplam 40 GB) bir dizüstünde 4,17 tok/s olarak ölçüldü — dev.to yazısı bu toplamı dosya boyutuyla uzlaştırmıyor, dolayısıyla tam sunum mekanizması açıklanmamış kalıyor. Aynı varyant, 128 GB RAM'e sahip bir mini PC'de tamamen CPU'da da çalıştı.

Nasıl çalıştırılır

Modeller Hugging Face'te duruyor ve dev.to yazısı standart yolu gösteriyor: dosyaları huggingface-cli download aracıyla indirin, sonra llama.cpp ile tüm katmanları CPU'da tutan -ngl 0 ve makinenin fiziksel çekirdek sayısına ayarlanmış -t seçenekleriyle başlatın. Son seçenek önemli — makale, mantıksal, hyperthread'li iş parçacığı sayısını kullanmanın verimi gözle görülür biçimde düşürebileceği uyarısını yapıyor, çünkü LLM çıkarımı bellek bant genişliğine bağlı ve hyperthread'ler aynı fiziksel kaynaklar için yarışıyor. Aynı GGUF dosyaları ek yapılandırma olmadan Ollama, LM Studio ve PocketPal'a da düşüyor; hiçbir şey kurmak istemeyen kullanıcılar için tarayıcı tabanlı POCKET Image Studio adlı bir seçenek de mevcut.

Neden önemli

POCKET, "tüketici donanımı için çok büyük" ifadesinin giderek ham parametre sayısından çok mimariye bağlı olduğunun somut bir kanıtı. Bir dizüstünde — yavaşça da olsa — çalışan 180 milyar parametreli bir model ancak seyrek MoE artı agresif karışık hassasiyetli quantization, toplam parametreler ile token başına maliyet arasındaki bağı kopardığı için mümkün; her şeyin yamalı bir fork yerine standart llama.cpp ile çalışması gerekliliği de engeli biraz daha düşürüyor. Sınırlamalar gerçek: 4,17 tok/s toplu işler için yeterli ama rahat bir sohbet okuma hızının altında, prefill daha küçük yoğun modellerin gerisinde kalabiliyor ve öne çıkan kalite rakamı adı verilmemiş dahili bir benchmark'a dayanıyor. Yine de kısa sürede 3,15 milyon indirme, insanların zaten sahip olduğu makinelerde frontier ölçeğinde ağırlıklara büyük bir kitle olduğunu gösteriyor.