DeepSeek, API'sının arkasındaki motor olan DeepInfer'ı serving stack olmadan açık kaynak yaptı

DeepSeek, büyük ölçekli prodüksiyon servislerini çalıştırdığını söylediği çıkarım motoru DeepInfer'ı açık kaynak proje olarak yayınladı. The Next Web'e atıf yapan bir dev.to yazısına göre motor 20 Ekim'de GitHub'da Apache 2.0 lisansıyla ortaya çıktı ve Hacker News başlığı o akşam itibarıyla yaklaşık 1.900 puan ile 700'den fazla yorum topladı. Sürüm tek bir modeli, DeepSeek-V4.1-Flash'ı destekliyor.

En önemli ayrıntı, olmayanların listesi. README, tam bir çıkarım servisi için gerekli olup bu sürümde eksik üç bileşeni sayıyor: bir KV cache sistemi, prefill/decode disaggregation ve data-parallel replica'lar arasında yük dengeleme. Geliştiriciler DeepSeek'in motorunu alıyor, DeepSeek'in servisini değil.

Depo ne içeriyor

Varsayılan checkpoint, ilk çalıştırmada Hugging Face'ten indirilen deepseek-ai/DeepSeek-V4.1-Flash-1017. dev.to yazısı, bunun DeepSeek API'sinin deepseek-flash olarak sunduğu checkpoint olduğunu ve model kartının MIT lisansı altındaki ağırlıklarla 763B parametre listelediğini belirtiyor.

README, DeepSeek'in kendi kernel kütüphanelerini — FlashMLA, DeepGEMM ve DeepEP başta olmak üzere — artı attention data parallelism, context parallelism, mixture-of-experts expert parallelism, confidence-scheduled doğrulamalı DSpark, asenkron zamanlama ve üretimi bir regex, JSON şeması veya EBNF grameriyle kısıtlayabilen yapılandırılmış çıktıları belgeliyor. Proje başlangıçta öncelikle vLLM üzerine inşa edildi, SGLang ve TensorRT-LLM'den ilham alındı ve The Next Web, vLLM'in DeepInfer'daki fikirleri kullanarak kendi V4.1-Flash desteğini geliştirmeyi planladığını bildiriyor.

Dar donanım gereksinimleri

README'ye göre DeepInfer, NVIDIA SM100 GPU'larda ve Huawei Ascend 950 NPU'larda, Linux'ta, GCC 13 veya üzeri, Python 3.12 ve CUDA 13 ya da CANN 9.2 ile çalışıyor. Trending Topics, SM100'ün compute capability 10.0 anlamına geldiğini, bunun NVIDIA'nın B200 ve GB200'lerine karşılık geldiğini ve Hopper gibi eski çiplerin desteklenmediğini belirtiyor. Derleme kısa: bir accelerator değişkeni ayarlayın, derleme betiğini çalıştırın, ardından paketle gelen offline çıkarım örneğini çalıştırın.

Performans grafikleri DeepSeek'e ait, prefill için 4 SM100 GPU ve decode için 64 GPU üzerinde ölçülmüş, her biri tek bir scale-up domain içinde, ve README metni yanlarında herhangi bir throughput değeri vermiyor. The Next Web, şirket dışında kimsenin bunları bağımsız olarak test etmediğini, Trending Topics da Huawei donanımı için yayınlanmış benchmark bulunmadığını bildiriyor.

Eksik parçalar servizin kendisi

Hariç tutulan her bileşen, gerçek trafik gelmeden önce bir operatörün inşa etmesi ya da dışarıdan edinmesi gereken bir sistem. Motor üretim sırasında key-value durumunu hâlâ tutuyor, ancak bu durumu istekler arasında yeniden kullanmak üzere saklayan bir şey yok; bu yüzden uzun ortak prefix'ler — sistem prompt'ları, araç tanımları — için pahalı attention hesabı her istekte yeniden yapılıyor. Prefill ve decode bir GPU'yu farklı şekilde zorlar ve büyük dağıtımlar bunları çoğunlukla ayrı havuzlarda çalıştırır; dev.to yazarı, 4 GPU'luk prefill ve 64 GPU'luk decode benchmark kurulumunu bu tür bir ayrım olarak okuyor, ancak bunu DeepSeek'in iddiası değil bir yorum olarak nitelendiriyor. Birden çok motor kopyası çalıştırmak da istekleri dağıtacak bir router gerektiriyor. README, disaggregation için gereken motor işlevselliğinin çoğunun zaten mevcut olduğunu söylüyor, ancak bağlantılandırma bu sürümde yok.

Determinizm ve bir prompt kütüphanesi

Motorun kendisinin ötesinde iki ayrıntı önemli. Batch-invariant çıkarım, isteklerin nasıl batch'lendiğine bakılmaksızın sonuçları sabit tutar ve deterministik sampling, aynı girdi ve sampling ayarları için aynı çıktıları döndürür — ikisi de yalnızca NVIDIA'da ve deterministik sampling'i etkinleştirmek DSpark'tan vazgeçmek anlamına geliyor. Ayrıca DeepSeek, deepseek-recipe'yi yayınladı: DeepSeek V4 ve V4.1 prompt'larını işleyen ve model çıktısını Messages, Chat Completions ve Responses formatlarında API yanıtlarına geri ayrıştıran, Python bağlayıcılarına sahip, MIT lisanslı Rust kütüphaneleri. Çağıran taraf çıkarımı, araç yürütmeyi ve HTTP taşımayı kendisi sağlıyor ve The Next Web, kütüphanenin resmi API'nin metni token'lara nasıl dönüştürdüğüyle eşleştiğini, bu yüzden modeli başka bir motorla sunan herkes için referans olduğunu belirtiyor.

Bir ABD hükümeti sorunu

Sürümünden bir gün önce, Homeland Security Department federal sivil kurumlara, The Next Web ve Trending Topics tarafından bildirildiği üzere, DeepSeek modelleri üzerine inşa edilmiş üçüncü taraf araçları da kapsayan bir emirle DeepSeek ürünlerini sistemlerinden kaldırma talimatı verdi. dev.to yazısı, Apache 2.0 lisansının bu sorunu hükümete satış yapan tedarikçiler için çözmediği konusunda uyarıyor.

Neden önemli

Çıkarım servis sağlayıcıları artık DeepSeek'in prodüksiyonda kullandığı yöntemleri benimseyebilir ve The Next Web'in atıf yaptığı Bloomberg, modelleri kendi sunucularında çalıştıran şirketlerin maliyetleri düşürebileceğini bildirdi. Çoğu geliştirici için etki dolaylı: vLLM, DeepInfer'ın fikirlerini V4.1-Flash desteğine katarsa kullanıcıları motor değiştirmeden kazanımları devralır ve API çağıranlar hiçbir değişiklik görmez. Sürüm ayrıca prodüksiyon sınıfı teknikleri — özel kernel'ler, expert parallelism, deterministik çıkarım — açığa çıkarıyor. Ancak cache, disaggregation ve routing alıştırma olarak bırakıldığından, motor ile tam servis arasındaki boşluk, bunu bugün gerçekten kimin dağıtabileceğini belirliyor.