deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

NVIDIA, Nemotron-Labs-Sigma'yı açık kaynak yaptı: 14 checkpoint'li sürekli diffusion dil modeli ailesi

NVIDIA, açık ağırlıklı sürekli diffusion dil modeli ailesi Nemotron-Labs-Sigma'yı yayınladı. 3B ve 8B boyutlarında 14 checkpoint, Hugging Face üzerinde ticari kullanıma izin veren bir lisansla paylaşıldı.

NVIDIA, Nemotron-Labs-Sigma'yı açık kaynak yaptı: 14 checkpoint'li sürekli diffusion dil modeli ailesi

NVIDIA, açık ağırlıklı sürekli diffusion dil modeli ailesi Nemotron-Labs-Sigma'yı yayınladı. 20 Kasım 2026'da Hugging Face üzerinde ortaya çıkan ve sürümü anlatan bir dev.to gönderisine göre aile, 3B ve 8B olmak üzere iki boyutta 14 checkpoint içeriyor; base, instruct ve az adımlı damıtılmış (distilled) varyantları (NFE 2, 4, 8 ve 16) ile her boyutta ayrıca bir self-speculative varyant bulunuyor. Ağırlıklar, ticari kullanıma izin veren NVIDIA Nemotron Open Model License altında yayınlandı; böylece ekipler modelleri kendi donanımlarında indirip ince ayar yapabiliyor ve sunabiliyor.

Metin üretimi için üçüncü bir yol

Sürekli diffusion, bilinen iki paradigmadan ayrışıyor. Otoregresif modeller metni katı bir şekilde soldan sağa, bir seferde bir token üretirken; LLaDA ve Dream gibi ayrık diffusion modelleri ayrık token ID'leri üzerinde çalışır. Sigma ise bunun yerine sürekli token temsilleri üzerinde çalışıyor, bunları öğrenilmiş 16 boyutlu bir embedding uzayında gürültüden arındırıyor ve metni 64 tokenlık bloklar halinde üretiyor. Her blok, son halini almadan önce birkaç denoising adımından geçiyor; ardından model bir sonraki bloğa geçiyor.

Eğitim soy ağacı da alışılmadık. dev.to özetine göre modeller, yaklaşık 1 trilyon token üzerinde eğitilmiş bir otoregresif checkpoint'ten warm-start edilmiş ve ardından yaklaşık 0,3 trilyon token ile diffusion eğitimiyle devam edilmiş — etkili bir şekilde geleneksel bir otoregresif temelin üzerine inşa edilmiş bir diffusion katmanı.

Şirket tarafından bildirilen sonuçlar

Tüm benchmark verileri NVIDIA'nın kendi iç değerlendirmelerinden geliyor ve bağımsız olarak doğrulanmış değil; dev.to gönderisi bu uyarıyı açıkça belirtiyor.

NVIDIA'nın altı görevlik test setinde Sigma-8B base ortalama 71,16 alarak NLD-8B'nin 70,22'sini, Dream-7B'nin 58,74'ünü, LLaDA-8B'nin 41,78'ini ve otoregresif Qwen3-8B'nin 68,91'ini geride bıraktı. 8B instruct varyantı GSM8K'da 91,96'ya ulaşıyor. Belirgin zayıf nokta ise 17,00 ile AIME25; yani rekabet düzeyi matematik, ailenin diğer sonuçlarının epey gerisinde. Bağlam penceresi 4.096 token olup 8B instruct varyantında 8.192 tokena çıkarılıyor.

Verimlilik ve servis

NVIDIA, tek bir H100 üzerinde bfloat16 ile saniyede yaklaşık 120–140 token bildiriyor. Self-speculative 8B varyantının, SGLang çalıştıran bir GB200 üzerinde otoregresif ortalamanın 3,46 katına kadar, tepe noktada 4,20 kat hızlı decode ettiği belirtiliyor. Az adımlı damıtılmış varyantlar, daha az ağ gidiş-dönüşü karşılığında bir miktar ek hesaplama gücünü kabul ediyor; servis gecikmesinin darboğaz olduğu durumlarda kârlı bir takas bu.

First-party bir API yok. Her şey, ticari kullanımın lisans kapsamında izin verildiği vLLM, SGLang veya Docker Model Runner aracılığıyla kullanıcının kendi altyapısında çalışıyor.

Neden önemli

Bugün yaygın olarak kullanılan neredeyse tüm dil modelleri otoregresif; bu da decode hızını token başına kabaca bir forward pass ile sınırlıyor. Diffusion dil modelleri bütün blokları paralel olarak üretiyor ve damıtılmış az adımlı varyantlar bu yönde daha da ileri gidiyor. Bildirilen kalite bağımsız değerlendirme altında doğrulanırsa Sigma, kendi sunucularını işleten ekiplere gerçekten farklı bir mimari seçenek sunuyor: izin verici ticari lisanslama ve dış uç noktalara bağımlılık yok — hâlihazırda bir GPU filosu işleten herkes için çekici.

Uyarılar da en az avantajlar kadar gerçek: rakamlar şirket tarafından bildirilmiş, rekabet düzeyi matematik görünür bir zayıflık ve 4K–8K bağlam penceresi mevcut otoregresif modellerin sunduğunun çok altında. Yine de büyük bir üreticiden gelen açık ağırlıklı bir sürüm olarak Sigma, otoregresif olmayan üretimin araştırma laboratuvarlarının ötesinde ciddiyele indirgendiğinin güçlü bir sinyali.

  • #nvidia
  • #diffusion-models
  • #open-source
  • #language-models
  • #hugging-face

İlgili yazılar