Janas, MoE uzmanlarını SSD'den akıtarak 80B modelleri 32 GB'lık bir dizüstünde çalıştırıyor

Janas adlı yeni bir açık kaynak proje, yerel yapay zekânın en zorlu sınırlarından birine el atıyor: belleğe sığmayan modelleri çalıştırmak. Projenin ilk bileşeni olan Janas-LLM, model ağırlıklarını diskte tutuyor ve her token'ın aktive ettiği uzmanları NVMe SSD'den akıtırken en sık kullanılan uzmanları RAM'de önbellekte tutuyor. 32 GB belleğe sahip bir dizüstü bilgisayarda proje, 48.4 GB'lık Qwen3-Next-80B modelini llama.cpp'nin saniyede 2.8 token başardığı yerde saniyede 24 token hızla, bir draft modelin spekülatif decoding'e yardım ettiğinde ise 37 tok/s hızla çalıştırdığını raporluyor. Bu iddialar, duyurusu Hacker News'in ana sayfasına ulaşan projenin GitHub deposundan geliyor.

Nasıl çalışıyor

Janas, C kütüphanesi dışında hiçbir bağımlılığı olmayan C ile yazıldı ve CPU veya GPU üzerinde çalışıyor. Hedefi, herhangi bir token için parametrelerin yalnızca küçük bir kısmının devreye girdiği mixture-of-experts modelleri; motor, bu seyreklilikten yararlanarak tüm modeli baştan yüklemek yerine SSD'yi belleğin bir uzantısı olarak kullanıyor. Depoya göre motor, üzerinde çalıştığı makineyi ölçüyor ve kendi yapılandırmasını kendisi seçiyor: çekirdek türleri arasında thread sayılarını test ediyor ve geliştiricinin dizüstünde prompt işlemeyi entegre Arc GPU'ya devrediyor. Yanında gelen janas-bench aracı, ölçümleri başka donanımlarda da yeniden üretebiliyor. Modeller Hugging Face üzerinde .jns dosyaları olarak önceden dönüştürülmüş halde sunuluyor; Linux (Ubuntu 22.04, Debian 12 ve sonrası) ile Windows 10 (1903 ve sonrası) ve 11 için derlemeler mevcut. Projeyi Maurizio "camauri" Cammalleri tasarladı ve yazdı.

Benchmark sayıları

Tüm rakamlar tek bir makineden geliyor: Intel Core Ultra 9 185H ve entegre Arc GPU, 32 GB DDR5 ve yaklaşık 5.7 GB/s okuma hızına sahip 1 TB NVMe SSD üzerinde Debian 13, 9-11 Ekim 2026 tarihleri arasında ölçüldü. Janas, Q4_K_M'de karşılaştırılan 13 modelin tamamında llama.cpp'den daha hızlıydı.

Fark en çok belleği aşan modellerde belirgin. Qwen3-Next-80B ile 1.024 token'lık bir prompt okurken Janas 62 tok/s'ye ulaştı, llama.cpp ise 16'da kaldı; Qwen3-Coder-Next 66'ya karşı 14 oldu. Üretim ise sırasıyla 2.8 tok/s'ye karşı 24 ve 2.2 tok/s'ye karşı 22 hızla gerçekleşti. Küçük dense modellerde fark daralıyor ama hiç kapanmıyor: Qwen3-4B 164'e karşı 193 tok/s okuyor ve 18'e karşı 27 yazarken, Qwen3-0.6B 45'e karşı 130 tok/s yazıyor.

Tek bir istisna var: Qwen3-30B-A3B'nin 3-bit Q3_K_XL derlemesi promptları llama.cpp'den yavaş okudu (112'ye karşı 100 tok/s), çünkü bu ağırlıklar henüz GPU'nun hızlı prompt yoluna ulaşamıyor — yine de llama.cpp'nin 11'ine karşı 36 tok/s yazdı. Aynı dizüstünde Windows 11 altında yazma hızları Linux ile eşitti ve dense Qwen3-4B, Intel'in kendi grafik sürücüsü sayesinde promptları 1.8 kat daha hızlı okudu (193'e karşı 346 tok/s).

Bir ürün değil, bir deney

Depo olgunluğu konusunda alışılmadık derecede açık sözlü ve baştan bunun "bir ürün değil, bir deney" olduğu konusunda uyarıyor. API ve komut satırı haftada birkaç kez değişiyor; yalnızca .jns model formatının okunabilir kalacağı sözü veriliyor. Motor, boş belleği bilinçli olarak uzman önbelleğiyle dolduruyor ve diski O_DIRECT ile son hızda okuyor; depoya göre daha az nefes alan makinelerde masaüstünü swap'a sokabiliyor ve GPU kullanımı bir kez masaüstünü çökerten bir sürücü sıfırlamasını tetiklemiş. Her şey o tek dizüstünde geliştirildi ve test edildi; diğer CPU'lar (özellikle AMD veya AVX-VNNI'siz çipler), harici GPU'lar ve daha yavaş diskler denenmemiş. Çıkış yolları arasında yanıtı durdurmak için Ctrl-C, bellek kullanımını sınırlamak için --cache bayrağı ve GPU'dan tamamen uzak durmak için JANAS_GPU=0 var.

Neden önemli

Yerel LLM inference'a uzun süredir RAM damgasını vuruyor: bir model sığmıyorsa ya daha agresif quantize ediyorsunuz ya da hiç çalıştırmıyorsunuz. Seyrek MoE mimarileri için Janas sorunu yeniden çerçeveleyerek hızlı bir SSD'yi bellek katmanı yapıyor ve 80B'lik bir modelde llama.cpp'ye karşı sekiz kattan fazla fark, bu fikrin meraklılığı aşan bir şey olduğunu gösteriyor. Rakamlar başka donanımlarda da tutarsa, 80B sınıfı modeller herhangi bir bulut erişimi olmadan sıradan dizüstü bilgisayarlarda pratik hale geliyor. Uyarılar gerçek — tek makine, erken geliştirme aşaması, agresif kaynak kullanımı — ama bellek duvarının bir I/O sorununa dönüştürülebileceğinin bir göstergesi olarak bu, uzun zamandır görülen daha ilginç yerel inference sonuçlarından biri.