Açık kaynak motor, 763 milyar parametreli DeepSeek modelini tek bir 96 GB GPU'dan sunuyor

deepseek-one-gpu adlı yeni bir açık kaynak motor, 763 milyar parametreli DeepSeek-V4.1-Flash modelini 96 GB VRAM'e sahip tek bir RTX PRO 6000 Blackwell kartından sunuyor ve kartın sığdıramadığı her şey için host RAM'e yaslanıyor. Projenin geliştiricilerinin 20 Ekim'de dev.to'da yayımladığı yazıya göre motor, OpenAI uyumlu bir API sunuyor ve tek bir GPU üzerinde tek kullanıcı için saniyede 63,11 token hızına ulaştı.

Modelin VRAM ve RAM arasında bölünmesi

Q2_K'ya quantize edilmiş haliyle bile DeepSeek-V4.1-Flash 264,5 GB yer kaplıyor; bu, kart kapasitesinin neredeyse üç katı. Motor bunu, modelin mixture-of-experts yapısından yararlanarak aşıyor; bu yapıda her token, katman başına 384 uzmandan yalnızca 6'sını etkinleştiriyor. Attention katmanları, dense bileşenler ve en sık kullanılan 5.825 uzman (69,5 GiB) VRAM'de kalırken, kalan 9.535 uzman (113,9 GiB) pinned host RAM'de yaşıyor ve GPU kendi payını işlerken CPU thread'leri tarafından hesaplanıyor. Geliştiricilerin ölçümlerinde uzman seçimlerinin yaklaşık onda dokuzu GPU'ya düşüyor ve yerleşik küme trafiği takip ediyor; uzmanlar PCIe üzerinden girip çıkıyor.

Yerleşim sabit kodlanmış değil. Bir planlama adımı, sunucu başlamadan önce model başlıklarını, kullanılabilir VRAM'i ve host RAM'i okuyor ve ardından hot set'e karar veriyor. Host için yaklaşık 280 GB RAM gerekiyor ve planlayıcı, minimum yerleşimi taşıyamayan makineyi, trafik geldiğinde çıkmaza sürükleme pahasına reddediyor.

Ölçülen sayılar

Aşağıdaki tüm rakamlar, projenin deposundaki benchmark'lardan geliyor ve RTX PRO 6000 Blackwell Server Edition üzerinde çalıştırıldı:

• Tek kullanıcı: saniyede 63,11 token.
• Dört eşzamanlı kullanıcı: toplam saniyede 127,58 token, en yavaş için 31,87.
• Sekiz eşzamanlı kullanıcı: toplam 152,53, kullanıcı başına yaklaşık 19.
• Dört kullanıcı decode ederken gelen 64K token'lık bir prompt: en uzun duraklama 4,048 saniye.

Gerçek dünyadaki hızı belirleyen üç ayar

Yazı kurulumu üç karar etrafında çerçeveliyor. İlki olan uzman yerleşimi, yukarıda anlatılan planlayıcı tarafından otomatik olarak hallediliyor.

İkincisi NUMA. RAM'de duran uzmanları değerlendiren CPU thread'leri bellek bant genişliğine bağlı olduğundan sunucunun, GPU'ya sahip olan socket üzerinde çalışması gerekiyor; bu nvidia-smi topo -m çıktısında NUMA Affinity olarak görünüyor. Aksi aynı olan bir kurulumda doğru bağlama, tek kullanıcı verimini saniyede yaklaşık 53 tokendan 63 token'a çıkardı. Tuzak container'larda: seccomp çoğu zaman numactl --preferred komutunu reddediyor ve bu başarısızlık gözden kaçması kolay; projenin run.sh betiği önce bellek tercihli bağlamayı, sonra yalnızca CPU bağlamayı, ardından taskset'i dener ve hangisinin başarılı olduğunu raporlar.

Üçüncüsü, batching altındaki sayısal davranış. Varsayılan olarak CPU uzmanları fork'un kendi hızlı yolunu kullanır (--cpu-numerics fork): batch halinde verilen yanıtlar aynı kaliteyi taşır ama tek başına sunulan bir istekle bit düzeyinde özdeş değildir. Birebir aynı token'ları gerektiren istekler strata_reproducible değerini required yapabilir ya da sunucu --cpu-numerics gpu ile başlatılabilir; bu, tek kullanıcı hızının yüzde 25,7'sine mal oluyor.

Kalite ve maliyet

Sabit seed'li alt kümelerde motor, GSM8K'da 0,927, IFEval'da 0,800 ve HumanEval'da 0,890 puan alıyor; DeepSeek'in API'si üzerinden sunulan tam model ise 0,960, 0,853 ve 0,982 alıyor. Aynı Q2_K dosyasını çalıştıran stok bir llama.cpp fork'u HumanEval'da 0,878 puan alıyor; geliştiriciler bunu, açıklığın CPU offload'dan değil 2-bit quantization'dan kaynaklandığının kanıtı olarak gösteriyor.

Maliyet konusunda geliştiriciler açık sözlü: token başına DeepSeek'in API'si, kiralık bir RTX PRO 6000'den daha ucuz ve depodaki karşılaştırma da bunu söylüyor. Self-hosting'in gerekçesi, verinin asla makineden çıkmaması ve kapasitenin başka hiçbir kiracıyla paylaşılmaması.

Başlangıç bilinçli olarak basit tutulmuş: ./run.sh --dry-run, betiğin verilen makinde çalıştıracağı her komutu yazdırıyor; ./run.sh ise model eksikse indiriyor, yerleşimi planlıyor, sunucuyu bağlıyor ve 8090 portunda OpenAI uyumlu bir endpoint sunuyor. v0.1.0 sürümü, CUDA 13 ve sm_120'yı hedefleyen önceden derlenmiş binary'lerle geliyor. Proje, Niko1221 ve katkıcılarının Strata'sına, llama.cpp ve ggml'e, vcruz305'in DeepSeek-V4.1 fork'una ve Q2_K GGUF dönüşümüne ile DeepSeek'in açık ağırlıklarına teşekkür ediyor.

Neden önemli

Bu ölçekteki modeller genellikle çok GPU'lu veya yalnızca API ile erişilen bir alan olarak görülüyor. Bu proje, tek bir iş istasyonu sınıfı kart ve yaklaşık 280 GB sıradan RAM'in, 763 milyar parametreli bir modeli etkileşimli hızda sunabildiğini gösteriyor ve bu, yerel çıkarımın (inference) ekonomisini değiştiriyor: kıt kaynaklar artık yalnızca VRAM miktarı değil, bellek kapasitesi, bellek bant genişliği ve CPU-GPU topolojisi oluyor. Benchmark'lar ayrıca kalitenin nerede kaybedildiğini, yani offload değil quantization adımında olduğunu izole ediyor ve işletmecilere üzerine düşünülebilecek somut bir ödünleşim veriyor. Göz önünde bulundurulması gereken nokta şu: buradaki her rakam, projenin kendi geliştiricileri tarafından tek bir dev.to yazısında bildirildiği için bağımsız doğrulama hâlâ yapılmış değil.