Dört DGX Spark, DeepSeek'i aynı anda 16 kullanıcıya kullanıcı başına saniyede 24 token ile sunuyor

Test neyi gösterdi

dev.to'da yayınlanan bir rapora göre, özellikle DeepSeek V4.1 Flash için geliştirilmiş açık kaynak bir serving engine, birbirine bağlı dört Nvidia DGX Spark masaüstü makinesinde 16 eş zamanlı kullanıcıyı idare etti. Toplam iş hacmi, sunucu odasında değil masanın yanında duran bir donanımda saniyede yaklaşık 380 token'a, yani kişi başına kabaca saniyede 24 token'a ulaştı.

Tek kullanıcı performansı daha da yüksekti: sohbette saniyede 80, kod üretimi sırasında ise saniyede 138 token. Sistem aynı isteğin 16 kopyasını birlikte işlediğinde toplam iş hacmi saniyede 438 token'a çıktı. Engine ayrıca prompt'ları saniyede yaklaşık 10.000 token hızıyla alıyor ve bir milyon tokenlık bir bağlam penceresini destekliyordu.

Kıyaslamak gerekirse, özel geliştirilen bu yapı aynı dört cihazda tek kullanıcılı testlerde SGLang TP4'ten yüzde 18 ila 25 daha iyi performans gösterdi; prompt alımı ise rapora göre yaklaşık 1,9 kat daha hızlıydı.

Kısıt donanımda değil, yazılımdaydı

Picomoorhead adıyla paylasım yapan bir geliştirici, bu donanım-küme yapılandırmasında çalışan tek bir model için yazılmış olan engine'i açık kaynak yaptı. Moor Insights & Strategy'nin kurucusu analist Patrick Moorhead sonuçları duyurdu ve bunların Nvidia'nın küçük makinesine yönelik en yaygın eleştiriye yanıt verdiğini savundu. Nvidia, DGX Spark'ı geliştiricilerin model oluşturup test edeceği bir masaüstü sistem olarak konumlandırmış, çok sayıda kullanıcıya hizmet verme işini veri merkezi GPU'larına veya bulut servislerine bırakmıştı.

"DGX Spark'a yönelik eleştiri, bunun bir inference makinesi değil bir geliştirici kutusu olduğuydu" diyen Moorhead, bu yapının tersini gösterdiğini ekledi.

Vardığı sonuç şuydu: Gerçek sınır hiçbir zaman donanım değildi; yazılımdı. Genel amaçlı serving framework'leri birçok donanım yapılandırmasında birçok modeli desteklemek zorundadır; oysa tek bir model ve tek bir küme için ayarlanmış bir engine, aynı silikondan ölçülebilir biçimde daha fazlasını çıkarabilir.

Fiziksel kurulum bilinçli olarak mütevazı: dört masaüstü kutu, 200 gigabitlik bir ağ anahtarıyla birbirine bağlı ve sıvı soğutma yok. Moorhead, açık DeepSeek ağırlıkları, kompakt Nvidia donanımı ve topluluk tarafından yazılmış inference kodunun birleşimini departmanlar için uygulanabilir bir şablon olarak tanımladı.

Sırada ne var

Sonuçları duyuran X paylaşımı görüntü desteğinin yolda olduğunu söylerken, projenin GitHub dokümantasyonu rapora göre görüntülerin standart OpenAI API üzerinden zaten çalıştığını belirtiyor.

Açık sorular tekrarlanabilirlik ve genellenebilirlik. Bir sonraki test, başka ekiplerin yayınlanan kodu kullanarak bu sayıları yeniden elde edip edemeyeceği ve benzer şekilde modele özel serving engine'lerin diğer açık ağırlıklı modeller için de ortaya çıkıp çıkmayacağı. Rapor ayrıca açık bir uyarıya dikkat çekiyor: bu engine tek bir donanım kurulumundaki tek bir modele özel, dolayısıyla farklı bir model veya farklı makineler koyacak ekiplerin benzer hızları görmesi için benzer bir ayarlama çalışması gerekir.

Neden önemli

Nvidia'nın kendi konumlandırması, çok kullanıcılı inference işini veri merkezine veya buluta bırakıyor, masaüstü donanımını bir prototipleme aracı olarak görüyordu. Dört masaüstü kutuda 16 eş zamanlı kullanıcı, ortada bir seçenek daha olduğunu gösteriyor: küçük bir ekip, hassas prompt'ları içeride tutarak ve bulut harcamasını sınırlayarak açık bir modeli yerel olarak sunabilir; sıvı soğutma veya rack altyapısı gerekmeden.

Sonuç ayrıca masaüstü inference darboğazının gerçekte nerede olduğunu yeniden çerçeveliyor. Geliştirici kutuları ile inference sunucuları arasındaki fark bir yazılım sorunu gibi görünüyor ve belirli bir amaç için geliştirilmiş açık kaynak bir engine bu açığın önemli bir bölümünü kapattı. Bu örüntü diğer modeller için de geçerli olursa, departmanlar için kendi sunucularında barındırılan yapay zeka bir araştırma deneyi olmaktan çıkıp pratik bir tedarik seçeneği haline geliyor.