deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

Avukatın 9.450 dolarlık 12 ikinci el V100'lü sistemi tüm DeepSeek V4.1 Flash expert'lerini bellekte tutuyor

Bir avukat evdeki yapay zeka sunucusunu on iki ikinci el 32GB V100'e çıkardı ve artık DeepSeek V4.1 Flash'ın 15.360 expert'inin tamamını NVFP4 formatında GPU belleğinde tutarak uzun belgelerde bekleme sürelerini yarıya indiriyor.

Avukatın 9.450 dolarlık 12 ikinci el V100'lü sistemi tüm DeepSeek V4.1 Flash expert'lerini bellekte tutuyor

Üçüncü NVLink kartı expert setini tamamlıyor

r/LocalLLM ve GitHub üzerinden evdeki yapay zeka sunucularını belgeleyen avukat Nick Mermiges, kişisel makinesini üçüncü bir dört GPU'luk NVLink kartı takarak sekiz ikinci el NVIDIA Tesla V100 32GB karttan on iki karta çıkardı. Tom's Hardware 20 Kasım 2026'da bu kurulumu ele alarak toplam maliyeti 9.450 dolar olarak verdi. Sunucu artık DeepSeek V4.1 Flash'ı, 15.360 yönlendirilmiş expert'in tamamı 4-bit NVFP4 formatında GPU belleğinde tutarak çalıştırıyor ve kurulumcinin deposuna göre bu expert'lerden hiçbiri bu değerin altında kuantalanmamış durumda.

Yükseltmenin itici gücü işlem gücü değil kapasiteydi

Ekstra kartların nedeni basit bir aritmetik meselesine dayanıyor. Sekiz 32GB kart yaklaşık 254 GiB sağlarken, kurulumcinin notlarına göre yalnızca NVFP4 expert'leri 40 katmana yayılmış 278,9 GiB yer tutuyor. On iki kart toplam HBM2 kapasitesini 384 GiB'e çıkarıyor ve bu da tüm expert setinin başka bir sıkıştırma olmadan sığmasını sağlıyor. Önceki sekiz kartlı sürümde tüm expert'leri 2-bit'te tutuyor ve yalnızca en sık kullanılan 5.949 expert'i, yani yaklaşık yüzde 38,7'sini, yuvalar dolana kadar NVFP4'e yükseltiyordu.

Volta yazılım sayesinde 2026 formatıyla buluşuyor

V100 2018'den kalma ve Volta mimarisi FP4 ile FP8 tensor çekirdeklerinden tamamen önceye ait. Bu nedenle her NVFP4 değerinin kartlar kullanmadan önce yazılım aracılığıyla yarım hassasiyete açılması gerekiyor. Mermiges'e göre kazanç, kartların daha hızlı matematik yapmasından değil, daha az bayt okumasından geliyor. Ayrıca expert değerlerinin DeepSeek'in kendi yayınındaki değerlerle eşleştiğini, modelin diğer bileşenlerinin ise kompakt biçimlerde çalıştığını belirtiyor.

Kurulumcunun bildirdikleri

Tüm rakamlar kurulumci tarafından bildirilmiş durumda. Tek akışlı kod üretimi saniyede 184 token'a kadar ulaşıyor ve uzun belgeler önceki kuruma göre yaklaşık yarısı sürede yanıt üretmeye başlıyor; kurulumcu en önemli gelişme olarak bunu görüyor. 256K bağlamdaki ilk kod token'ı artık 108,4 saniyeden 58 saniyeye inerken, 32K bağlamın üzerindeki prompt'lar saniyede 2.200 yerine yaklaşık 4.500 token hızında alınıyor.

Kazanımlar belgeler büyüdükçe daralıyor. 1K bağlamda kod çözmede yüzde 23'lük bir iyileşme ölçüyor ama 32K ve üzerinde bunun pek ya da hiç olmadığını görüyor. 128K'lık bir dosyayı okumak 28 saniye, 256K'lık bir dosyayı okumak ise 185 saniye sürüyor. 128K bağlamda üç paralel istekle makine kodda saniyede yaklaşık 360, hukuki belgelerde 213 token üretiyor.

Ayrıca sistemin, tek istekli kod çözmede yayınlanmış dört üniteli DGX Spark yığınlarını yüzde 15 ila 45 oranında geride bıraktığını ve bunu üç üniteli bir Spark yapılandırmasının yaklaşık yarısı fiyatına yaptığını iddia ediyor. Yol boyunca bazı ince ayarlar da yardımcı oldu: güç sınırını 150 vatandan 175 vatana yükseltirken saat hızı tavanını 1.522 MHz'den 1.452 MHz'ye düşürmek net bir performans kazancı sağladı.

Belirtilen sınırlamalar

Bu rakamlar bağımsız hiçbir kıyasa dayanmadan doğrudan kurulumcinin kendisinden geliyor. Dokümantasyonu ayrıca üçüncü kartın ayrı bir PCIe switch arkasında durduğunu ve bu ikinci sıçramanın gecikme eklediğini kabul ediyor.

Neden önemli

Üretimden kalkmış 2018 silikonu yazılım çözümleri sayesinde 2026 model formatını çalıştırıyor ve bu proje, bütçeyle yapılan yerel çıkarımın genellikle ham işlem gücünden çok bellek bant genişliği tarafından kısıtlandığını gösteriyor. Ayrıca özel LLM barındırmanın artık amatör fiyatlarında erişilebilir olduğunu ortaya koyuyor. Kontrol ettiği donanımda uzun sözleşmeleri incelemesi gereken bir profesyonel için ilk token'ı bekleme süresini yarıya indirmek, 9.450 dolarlık ikinci el GPU'ların tamamını haklı çıkarabilir.

  • #local-llm
  • #deepseek
  • #nvidia
  • #ai-hardware
  • #gpu

İlgili yazılar