DeepSeek, üretim çıkarımının arkasındaki motor DeepInfer'ı açık kaynak yaptı

DeepSeek ne yayımladı

DeepSeek, kendi modellerini büyük ölçekte üretimde çalıştıran çıkarım framework'ü DeepInfer'ı Apache License 2.0 altında açık kaynak bir proje olarak yayımladı. 20 Ekim 2026'da Hacker News ana sayfasına çıkan depo, kendini DeepSeek modelleri için yüksek performanslı bir framework olarak tanımlıyor; ilk sürüm çevrimdışı çıkarımı ve projeye göre ölçekte hizmet vermek için gereken temel özellikleri kapsıyor.

Motor şu anda tek bir modeli, DeepSeek-V4.1-Flash'ı destekliyor. Varsayılan checkpoint olan DeepSeek-V4.1-Flash-1017, ilk çalıştırmada Hugging Face önbelleğine çekiliyor ya da bir ortam değişkeni aracılığıyla yerel bir dizinden yüklenebiliyor.

Motorun içinde

Projenin README'sine göre DeepInfer, DeepSeek'ın kendi modellerini verimli şekilde sunmak için geliştirdiği mekanizmaları bir araya getiriyor. Kernel katmanı; FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect ve özel TileLang kernel'larını içeriyor; bunların bir kısmını DeepSeek daha önce bağımsız açık kaynak projeler olarak yayımlamıştı. Paralellik tarafında attention data parallelism ile dengeli context parallelism birleşiyor; MoE expert parallelism ise projenin expert yerleşimi için yük dengeleme şeması olan EPLB ile eşleştiriliyor.

Operatörler için iki özellik öne çıkıyor. İlki, taslak token'lar üreten ve doğrulamanın ne zaman planlanacağına karar vermek için güven tahminleri kullanan spekülatif kod çözme yolu DSpark; maksimum taslak uzunluğu varsayılan olarak beş token. İkincisi, isteklerin batch'lere nasıl gruplandığından bağımsız olarak model sonuçlarını aynı tutan batch-değişmez (batch-invariant) çıkarım. Batch değişmezliği şu anda yalnızca NVIDIA'da mevcut ve sabit bir örnekleme tohumuyla birleştiğinde, özdeş girdi token'ları ve örnekleme parametrelerinin her zaman özdeş çıktılar ürettiği deterministik örneklemeyi de mümkün kılıyor.

Diğer yetenekler arasında, bağlamın yalnızca sınırlı bir son ekini yeniden işleyerek decoder prefill işini azaltan sınırlı yeniden oynatma (bounded-replay) modu bulunuyor; varsayılan V4.1 yapılandırması, kayan pencere attention penceresi artı maksimum geri izleme uzunluğunu kapsamaya yetecek şekilde 140 token tutuyor. Asenkron bir zamanlayıcı CPU batch planlamasını cihaz üzerindeki yürütmeye örtüşüyor ve varsayılan olarak etkin; yapılandırılmış çıktılar ise üretimi bir regex, JSON şeması veya EBNF grameriyle kısıtlayabiliyor.

Donanım ve kurulum

DeepInfer iki hızlandırıcı ailesini hedefliyor: NVIDIA'nın SM100 GPU'ları ve Huawei'nin Ascend 950 NPU'ları. Lansmanda çift üretici desteği, büyük bir çıkarım motoru için alışılmadık bir durum ve Ascend donanımına kendini kanıtlamış bir üretim stack'i sağlıyor. Derleme gereksinimleri Linux, GCC 13.0 veya daha yenisi ve Python 3.12; ayrıca NVIDIA'da CUDA 13, Ascend'de CANN 9.2. Proje, hızlandırıcı bir ortam değişkeniyle seçildikten sonra bir betik aracılığıyla kaynaktan derleniyor.

README, prefill için 4, decode için 64 SM100 GPU üzerinde ölçülen performans karşılaştırmalarını, sonuçları yeniden üretmek için bir tarama betiğini ve ayrı bir değerlendirme karşılaştırması setini yayımlıyor; her biri tek bir scale-up alanı içinde.

Sürümde neler yok

DeepSeek, bunun bir motor sürümü olduğunu, hazır bir hizmet platformu olmadığını açıkça belirtiyor. Bir KV cache sistemi, prefill/decode ayrıştırması (disaggregation) ve data-parallel kopyalar arasında yük dengeleme, eksiksiz bir çıkarım servisi için gerekli olarak listeleniyor ve hiçbiri bu sürümde yer almıyor; ancak proje, ayrıştırma için motor tarafındaki işlevselliğin büyük kısmının zaten uygulandığını not ediyor. Bugün eksiksiz bir serving stack'i isteyen ekipler bu parçaları kendileri sağlamak zorunda ya da genel amaçlı bir framework'te kalmak durumunda. Proje soy geçmişini de kabul ediyor: DeepInfer öncelikli olarak vLLM üzerine inşa edildi ve SGLang ile TensorRT-LLM'den ek ilham alındı.

Neden önemli

Büyük mixture-of-experts modelleri sunan herkes için bu, sektörün verimliliğe en odaklı laboratuvarlarından birinin gerçek üretim stack'ine, bir makale yerine izin verici bir lisansla yapılan nadir bir bakış. Determinizm özellikleri gerçek bir boşluğu dolduruyor: çoğu serving engine, batch bileşimine bağlı olarak biraz farklı sonuçlar döndürüyor ve bu da test etmeyi, hata ayıklamayı ve çıktıların yeniden üretilebilir olması gereken her ortamı zorlaştırıyor. Eksik bileşenlerin açık listesi en az bunun kadar faydalı; benimseyenlere, motorun etrafında hâlâ neler inşa etmeleri gerektiğini tam olarak söylüyor. vLLM soy geçmişi de, burada yapılan iyileştirmelerin özel bir fork'ta kalmak yerine daha geniş açık kaynak çıkarım ekosistemine geri akma olasılığını ortaya koyuyor.