DeepSeek, batch-invariant çıkarım sunan vLLM tabanlı motoru DeepInfer'ı açık kaynak yaptı

DeepSeek ne yayınladı

DeepSeek, kendi üretim modellerinin arkasındaki çıkarım motoru DeepInfer'ı Apache 2.0 lisansıyla yayınladı. Depoya ilişkin bir dev.to analizine göre yayın, 2.000 puanı aşarak Hacker News'in zirvesine yerleşti ve depo hemen ardından 16.000 yıldızı geçti.

Motor sıfırdan tasarlanmış bir yapı değil. dev.to yazısı, README'nin soy ağacı konusunda alışılmadık ölçüde açık sözlü olduğunu belirtiyor: Proje başlangıçta öncelikle vLLM üzerine inşa edildi ve SGLang ile TensorRT-LLM'den ek fikirler ödünç alındı. Pratikte bu, DeepSeek'in kernel yığını eklenmiş bir vLLM türevi. Başlangıç desteği tam olarak tek bir modeli, DeepSeek-V4.1-Flash'ı, ve iki donanım hedefini kapsıyor: NVIDIA SM100 GPU'lar ve Huawei Ascend 950 NPU'lar.

İçinde ne var

dev.to yazısı kernel setini DeepSeek'in önceki açık kaynak paylaşımlarının bir derlemesi olarak tanımlıyor: multi-head latent attention için FlashMLA attention kernelleri, FP8 matris çarpımı için DeepGEMM ve expert-parallel iletişim için DeepEP; bunlara TileKernels, DeepSelect ve özel TileLang kernelleri eşlik ediyor.

Bunun üzerine sistem özellikleri biniyor: dengeli context parallelism ile eşleştirilmiş attention data parallelism, yük dengelemeli Mixture-of-Experts expert parallelism (EP artı EPLB), doğrulamanın güvene göre planlandığı DSpark spekülatif decoding, projenin sıfır ek yük ile çalıştığını iddia ettiği asenkron batch zamanlaması ve prefill hesabını azaltmayı amaçlayan decoder SWA bounded replay mekanizması. Regex, JSON şeması veya EBNF ile kısıtlanmış yapılandırılmış çıktı da yerleşik olarak geliyor.

Determinizm bayrakları

dev.to yazarının öne çıkardığı özellik determinizm; iki ortam değişkeniyle açığa çıkıyor. DEEPINFER_BATCH_INVARIANT=1'in, batch'i başka ne paylaşırsa paylaşsın aynı çıktıyı ürettiği belirtiliyor ve DEEPINFER_ENABLE_MTP_VARLEN=0 eklenince sabit seed altında deterministik örnekleme sağlanıyor.

Batch invariance tanıdık bir sorunu hedefliyor: sadece başka bir istek aynı batch'e düştüğü için sıcaklık sıfırken flake eden değerlendirmeler. Yazı, çoğu motorun yalnızca yaklaşık determinizm sunduğuna dikkat çekiyor ve bu garantiye bel bağlamadan önce kendi iş yükünüzle doğrulamanızı öneriyor.

Gereksinimler ve eksikler

Gereksinimler zorlayıcı: Linux, GCC 13 veya üzeri, Python 3.12 ve NVIDIA donanımı için CUDA 13 ya da Ascend için CANN 9.2. Derleme, projenin derleme betiğini çalıştırmak ve bir ortam değişkenini yerel ağırlıklar dizinine yöneltmekten ibaret.

Daha önemlisi yayının neleri dışarıda bıraktığı. dev.to'nun aktardığına göre README, lansmanı offline çıkarım ve büyük ölçekte servis için temel özellikler olarak sınırlandırıyor; KV cache yönetimini, prefill/decode disaggregation'ı ve data-parallel kopyalar arası yük dengelemeyi açıkça dışlıyor — bir servis yığınının üretim trafiğinde hayatta kalıp kalmayacağını belirleyen parçalar tam da bunlar. Eşlik eden bir reçete DeepSeek API'sinin token işlemeyi yeniden üretiyor, ancak operatörler gerisini kendileri bir araya getirmek zorunda.

Deponun benchmark'ları Pareto grafikleri; prefill 4 SM100 GPU üzerinde, decode ise 64 üzerinde ölçülmüş ve dev.to yazarı şimdiye kadar vLLM veya SGLang'a karşı bağımsız bir karşılaştırma bulamadığını bildiriyor. Bu iki motor yaklaşık iki yıldır performans liderliğini birbirine devredebildiği için yazı, sosyal medyada dolaşan her hızlanma iddiasının, biri yeniden üretmedikçe doğrulanmamış sayılması gerektiğini öneriyor.

Kimleri ilgilendirir

dev.to değerlendirmesine göre izleyici kitlesi üçe ayrılıyor. DeepSeek-V4.1-Flash'ı SM100 veya Ascend donanımında büyük ölçekte çalıştıran ekipler bunu şimdi değerlendirmek için doğrudan bir nedene sahip, çünkü bu satıcının kendi yığını. H100'lerde Llama veya Qwen modelleri sunan ekipler ise bugün için hiçbir şey kazanmıyor; destek tek model ve tek aileden oluşuyor. Ve çıkarım altyapısı inşa eden herkes bedava bir eğitim kazanıyor: MoE expert parallelism ve spekülatif decoding için üretim kalitesinde bir Apache 2.0 referansı.

Neden önemli

dev.to yazarına göre yayın, bir vLLM rakibi olmaktan çok bir frontier laboratuvarının yalnızca ağırlıklarını değil servis katmanını da yayınlaması açısından önemli — motor olmadan ağırlık yayınlamak, token başına maliyeti belirleyen bileşeni dışarıda bırakıyor. DeepSeek amacını topluluğa hesaplama maliyetlerini ve enerji kullanımını düşürmede yardımcı olmak olarak çerçeveliyor ve izlenmeye değer aşağı yönlü etki ise API token fiyatları üzerindeki baskı.

İki açık soru duruyor: vLLM ve SGLang'a karşı bağımsız benchmark'lar gerçekleşecek mi ve eksik disaggregation parçaları sonraki sürümlerde gelecek mi. Yazı, ikisi de yanıtlanana kadar DeepInfer'ın anahtar teslim bir alternatif olarak değil, ciddi ölçüde güçlü bir referans uygulama olarak okunmasının en doğrusu olduğu sonucuna varıyor.