DeepSeek, DeepInfer inference motorunu açık kaynak yaptı, üç günde 20 bin GitHub yıldızına yaklaştı

DeepSeek ne yayımladı

DeepSeek, üretim hizmetlerini çalıştırmak için kullandığı inference motoru DeepInfer'ı açık kaynak olarak yayımladı. dev.to'daki bir yazıya göre kod 20 Ekim'de yayına girdi ve GitHub deposu, yayından üç gün sonra 22 Ekim akşamına kadar 19.941 yıldız ve 2.126 fork topladı.

Bir inference motoru, eğitilmiş bir modeli alıp kullanıcılara sunan yazılım katmanıdır: işleri çipler arasında dağıtır, gelen istekleri gruplar ve yanıtların ne kadar hızlı döneceğini belirler. Bu katman, bir yapay zekâ hizmetini işletme maliyetinin önemli bir bölümünü oluşturur ve büyük laboratuvarlar genellikle onu sıkı sıkıya saklar. DeepSeek ters bir yol izledi.

Kod, açık kaynak dünyasının en serbest lisanslarından biri olan Apache 2.0 ile geliyor: ticari amaçlar dahil kullanıma, değiştirmeye ve yeniden dağıtıma izin veriyor. Duyuru, projeyi DeepSeek'in dahili inference çerçevesi olarak tanımlayan kısa bir X gönderisi olarak geldi; proje artık tamamen açık ve hesaplama maliyetleri ile enerji tüketimini düşürmeye yardımcı olma hedefiyle birlikte duyuruldu.

Neler var, neler yok

İlk sürüm tek bir model çalıştırıyor: Hugging Face üzerinde barındırılan 1017 varyantındaki DeepSeek-V4.1-Flash. Tek mod ise offline batch inference; sürekli online serving yok. DeepSeek'in kendi uygulamasına denk tam bir hizmet kurmayı bekleyen herkes, deponun ön sayfasında da kabul edilen üç eksikle karşılaşacak: key-value cache sistemi yok, prefill ve üretim aşamaları arasında tam bir ayrım yok ve model kopyaları arasında load balancing yok.

Buna karşılık dahil edilenler yine de önemli. Paket, adlandırılmış ve optimize edilmiş kernel'larla geliyor — FlashMLA, DeepGEMM ve DeepEP — ayrıca expert paralelliği, aynı girdi için aynı çıktıyı yeniden üreten deterministik örnekleme ve istek grupları değişse bile sonuçları aynı tutan batch'ten bağımsız inference var. Yapılandırılmış çıktılar da destekleniyor; yanıtları bir JSON şemasına, düzenli bir ifadeye ya da kullanıcının tanımladığı bir dilbilgisine kısıtlıyor, böylece aşağı akıştaki programlar veriyi tahmin yürümeden ayrıştırabiliyor.

Temel sıfırdan inşa edilmedi. Depo, dev.to anlatısına göre dünyadaki model servislerinin önemli bir bölümünü zaten çalıştıran açık motor vLLM'yi temel olarak gösteriyor; SGLang ve TensorRT-LLM'den fikirler alınmış. DeepSeek'in katkısı, sistem araştırmalarını kullanılabilir koda dönüştürmesi: özel kernel'lar, birkaç token'ı ileri taşıyıp tek geçişte doğrulayan spekülatif decoding ve işlemci işini GPU işiyle çakıştıran asenkron zamanlama.

Tek kod tabanı, iki çip ailesi

En keskin siyasi okumaya sahip ayrıntı ise desteklenen donanım. DeepInfer, Nvidia SM100 kartlarında — veri merkezleri için CUDA 13'lü Blackwell nesli — ve CANN 9.2'li Huawei Ascend 950 birimlerinde çalışıyor. Tek bir kod tabanı, Çinli ve Amerikan çiplerini birinci sınıf yurttaşlar olarak ele alıyor; dev.to makalesi bunu bu seviyedeki bir çerçeve için nadir görüyor. Sürümler, ABD hükümetinin DeepSeek modellerinin federal sistemlerden kaldırılmasını emretmesinden bir gün sonra geldi; birkaç uzman yayın bu karşıtlığı haberlerinde öne çıkardı.

dev.to'nun aktardığına göre TechTarget, hamleyi öncelikli endişesi maliyet olan müşterilere yönelik olarak yorumluyor; şirketlerin milyonlarca token tüketen agent'lar çalıştırdığı ve inference faturalarının sürdürülemez hale geldiği bir dönemde. Bu okumaya göre çift donanım desteği, DeepSeek'in Çinli ve Batılı müşterilere aynı ürünle hizmet vermesini sağlıyor. DeepSeek zaten 2026 sonundan önce modelleri Huawei silikonunda ön eğitmeye yönelik planlarını açıklamıştı; bu motor, o niyeti bir basın bülteninden çok koda döküyor.

Performans rakamları DeepSeek'in kendisine ait

Lansman performans iddialarıyla birlikte geldi: V4.1-Flash ile küme başına günde 155 trilyon token, yüzde 96 girdi cache isabet oranı, kabaca 400 milisaniyede ilk token ve saniyede 230 token üretim hızı; programlama görevlerinde tepe değeri 300. Crypto Briefing bu rakamları aktarırken açık bir uyarı da ekledi: rakamlar DeepSeek'ten geliyor ve bağımsız bir doğrulama yok. Depo, prefill aşaması için 4 SM100 kartta ve üretim için 64 kartta ölçülen performans grafiklerinin yanı sıra testleri tekrarlama talimatlarını içeriyor; üçüncü bir taraf bunları kendi veri merkezinde çalıştırana dek bunlar satıcı beyanları olarak kalıyor.

Neden önemli

Kendi sunucusunda barındırmayı düşünen orta ölçekli bir şirket için pratik çıkarım ayıklayıcı: DeepInfer yazılım engelini düşürüyor, donanım engelini değil. Blackwell kartlar ya da Ascend hızlandırıcılar olmadan motor çalışmayacak ve bu ekipman, yıllarca sürecek ticari API faturalarından daha pahalıya mal olacak. Resmin gerçekten değiştiği yer ise altyapıya zaten sahip olan laboratuvarlar, üniversiteler ve şirketler: artık 2025'te ucuz modellerle sektörü sarsan laboratuvarın yanıtlarını gerçekte nasıl sunduğunu satır satır inceleyebilirler. En az bunun kadar önemli olarak, Nvidia ve Huawei silikonuna eşit muamele, DeepInfer'ı her iki çip ekosistemini kapsayan nadir yüksek profilli bir çerçeve haline getiriyor — Çin ve Batı yapay zekâ yığınlarının süregiden ayrışmasında somut bir veri noktası.