llama-modchip, 284B parametreli DeepSeek modelinin GPU'suz 64GB'lık bir CPU'da çalıştığını iddia ediyor

Projenin iddiası ne

llama-modchip adlı açık kaynak bir proje, 8 Kasım 2026'da Hacker News ana sayfasına çarpıcı bir iddiayla geldi: 284.33 milyar parametreli mixture-of-experts modeli DeepSeek-V4-Flash, hiçbir ekran kartı olmadan, yalnızca 64GB RAM'e sahip CPU tabanlı bir masaüstü bilgisayarda tamamen çalışabiliyor.

Projenin GitHub README'sine göre model — token başına yaklaşık 13.17B aktif parametre içeren 284.33B toplam parametre, 43 MLA katmanı ve 256 yönlendirilmiş uzman artı bir paylaşımlı uzmana yayılmış durumda — diskte 56.56 GiB yer kaplıyor ve 256.000 token'lık context'te bile kullanılan bellek yaklaşık 57.6 ile 58.9 GiB arasında zirve yapıyor. Değiştirilmemiş checkpoint reportedly 76.87 GiB ağırlığında ve aynı makinede out-of-memory kill tetikleyecek kadar büyük; bu yüzden sıkıştırmayı sığdıran şey.

Bildirilen throughput prefill'de saniyede 44.36 token; decode ise lossless modda 9.06 ile 9.95 tok/s arasında, speculative drafting devreye girdiğinde ise 11.5–14.7 tok/s'ye kadar çıkıyor.

Sıkıştırma nasıl çalışıyor

README üç teknik ailesine atıf yapıyor. Birincisi, SwiGLU katmanlarının analitik ikinci mertebeden Hessian sıkıştırması — SwiGLU-H2 — ki yazarlara göre tek başına 20.31 GiB kazandırıyor. İkincisi, llama.cpp'nin Q2_0 formatı üzerine kurulu, ağırlık başına 3.75 bitlik bir "Fractal-64" quantization şeması; MoE pruning ile birlikte attention ağırlıklarına uygulanıyor. Üçüncüsü, kernel düzeyinde ayarlama: L1, L2 ve L3 cache'ler boyunca AVX-512BW register tiling ve register-stationary bir MQA8 FlashAttention kernel'i; birlikte prefill'i yüzde 77, 25.0'dan 44.36 tok/s'ye yükseltiyor. Output projection üzerindeki kesin bir SVD adımının, rank yüzde 25 düşürülmesine rağmen yüzde 99.82 kosinüs benzerliğini koruduğu bildiriliyor.

Decode tarafındaki kazanç, L2/L3 cache'de resident kalacak şekilde boyutlandırılmış, yazarların Stockfish-PVS v2 adını verdiği 1.64MB'lık speculative drafter'dan geliyor; kabul oranının yüzde 96.4 olduğu iddia ediliyor.

Daha küçük modeller nerede konumlanıyor

Aynı toolchain, sıradan dizüstü bilgisayarlarda çalışan 30B sınıfı MoE modellerini hedefliyor. Mamba-2 state-space katmanlarını MoE routing ile birleştiren hibrit NVIDIA-Nemotron-3.5-30B-A3B (30.2B toplam, 3.0B aktif) 14.35 GiB yer kaplıyor ve 16 çekirdekli Zen 5 CPU'da 25.0–60.4 tok/s, AWS Graviton3 ARM instance'ında 44.97 tok/s, 16GB GPU'lu hibrit bir kurulumda 80.8 tok/s ve sekiz kanallı DDR5'in bellek bant genişliğini doyurduğu bir Threadripper iş istasyonunda 111.6 tok/s bildiriliyor. Yalnızca CPU modunda 34.8 tok/s ile Qwen3-30B-A3B de destekleniyor.

Mütevazı bir GPU'su olan makineler için hibrit bir mod, attention gövdesini VRAM'de tutarken yönlendirilmiş uzmanları sistem RAM'inde bırakıyor.

Agent kullanımı ve bir uyumluluk tuzağı

Proje ayrıca, kodlama agent'ını 40 aracın tamamı aktif şekilde yerel motora bağlayan bir Claude Code launcher'ı da içeriyor. KV cache'in /dev/shm tabanlı warm restore'u 284B modelde 13.1–32.6 ms sürüyor; yazarlara göre bu, her agent turunda yaşanan yaklaşık 45 saniyelik prompt yeniden değerlendirme duraklamasını ortadan kaldırıyor.

Kayda değer bir sınırlama: Fractal-64 dosyaları, yamalanmamış llama.cpp, Ollama ve LM Studio'nun açmayı reddedeceği özel bir tensor encoding (GGML type ID 40) kullanıyor. Kullanıcıların projenin Hugging Face repolarından veya GitHub sürümlerinden gelen önceden derlenmiş binary'sini çalıştırması gerekiyor. Windows kullanıcıları için çekirdekleri, boş RAM ve VRAM'i algılayıp otomatik olarak optimal bir CPU/GPU split'i hesaplayan tek tıkla kurulum betiği mevcut.

Neden önemli

Yukarıdaki her sayı proje tarafından kendi kendine bildirilmiş durumda; README yeniden üretilebilir bir değerlendirme komutu sunuyor, ancak benchmark'lar bağımsız olarak doğrulanmadı ve ağırlık başına 3.75 bit'te çıktı kalitesi — yazarların 30B build'ler için kendi 100 puanlık gate'lerinde tam skor bildirdiği nokta — açık soru olmayı sürdürüyor.

İddialar yaklaşık olarak bile doğruysa, frontier ölçeğindeki yerel modeller için GPU bariyeri fiilen ortadan kalkıyor. 64GB'lık bir masaüstü sıradan bir alım; 80GB sınıfı bir accelerator değil. Saniyede on token herkes için sohbet hızında sayılmaz, ancak agent'lar, özetleme, retrieval ve toplu iş için faydalı aralığın rahatça içinde — tam da API faturası olmadan, hiçbir verinin makineden çıkmadığı yerel çalışmanın en çok önemli olduğu iş yükleri.