Nvidia, liderlik tablolarında zirveye yerleşen 40 dilli açık ASR modeli Nemotron 3.5 Transcribe'ı yayınladı

Nvidia, otomatik konuşma tanıma, konuşmacı atfı, çeviri ve sesli soru-cevabı tek bir checkpoint'te birleştiren açık ağırlıklı modeli Nemotron 3.5 Transcribe'ı yayınladı. Nvidia'nın Hugging Face'teki blog yazısına göre model 40 dili transkribe ediyor, bunların 31'ini İngilizceye ya da İngilizceden çeviriyor ve 13 dilde konuşmacı atfı yapıyor. Bir saate kadar uzunluktaki kayıtları işleyebiliyor, en fazla sekiz konuşmacıyı etiketleyebiliyor ve şu anda Hugging Face ile ModelScope üzerinde erişilebilir. Duyuru, Hacker News'in ana sayfasında da yer buldu.

Model promptlanabilir: aynı kayıt, doğal dil ile verilen talimata bağlı olarak konuşmacı etiketli bir transkript, İngilizce bir çeviri ya da bir toplantıda hangi kararların alındığı gibi bir sorunun yanıtı şeklinde sonuç verebilir. Kelime düzeyinde zaman damgaları destekleniyor; bunu Nvidia, kaydedilmiş bir dersi eşzamanlı transkriptle birlikte tekrar oynatan Agora kaynaklı bir sınıf demosuyla gösteriyor. Dil kapsamı göreve göre değişiyor — sesli soru-cevap yalnızca İngilizce için eğitilmiş durumda — ve görev bazındaki tam dil matrisi model kartında yer alıyor.

Liderlik tablosu sonuçları

Hugging Face Open ASR Leaderboard'da Transcribe, İngilizce için açık ağırlıklı modeller arasında ortalama %5,33 kelime hata oranıyla ilk sırada yer alıyor. Nvidia ayrıca çok dilli trakta yedi dilde ortalama %4,62 WER ve uzun seslerde %10,98 WER bildiriyor; bunlar model kartında karşılaştırılan açık ağırlıklı modeller arasındaki en düşük değerler.

Artificial Analysis'ın konuşmadan metne leaderboard'unda model, yaklaşık 4 milyar parametre etkinleştirerek açık ağırlıklı modeller arasında %2,8 AA-WER ile birinciliği paylaşıyor; berabere kaldığı model ise 24 milyar parametre etkinleştiriyor. Nvidia bu verimliliği, bir konuşma kodlayıcısını hibrit Mamba-Transformer mixture-of-experts dil modeliyle eşleştirmeye bağlıyor; bu modelde 30 milyar parametrenin yalnızca yaklaşık 4 milyarı token başına etkin oluyor. Hold-out bir sesli asistan konuşma seti olan AA-AgentTalk'ta bir sonraki en iyi açık ağırlıklı modelin %2,3'üne karşılık %1,8 WER elde ediyor ve tüm modellerin sıralandığı tabloda yaygın olarak kullanılan若干 tescilli konuşma API'sinin önünde yer alıyor.

Konuşmacı atfı ise Transcribe'ın kıyasları açık ara geçtiği alan. David AI'nın DAI-ASR-I18N leaderboard'unda açık ağırlıklı modeller arasında birinci, transkripsiyon ve diyarizasyon birleşik trakta genel olarak ikinci sırada yer alıyor; 21 dilli diyarizasyon trakında test edilen 14 sistem arasında en düşük diyarizasyon hata oranını, %18,26 ile, Nvidia'nın kendi özel Nemotron 3 Diarization modelinin %18,38'ine kıl payı önde olacak şekilde elde ediyor. VoiceArena'nın 14 sistemli İngilizce benchmark'ında %32,4 cpWER ile lider konumda ve akranlarına kıyasla çok daha az kelime düşürüyor — silmeler, referans kelimelerin %8,32'sini oluştururken medyan yaklaşık %31.

Nvidia diyarizasyon sonuçlarını, Sortformatter konuşmacı ipuçlarının akustik özelliklerle birlikte dil modeline beslenmesine bağlıyor; böylece konuşmacılar ayrı bir sonraki geçişte değil, üretim sırasında etiketleniyor.

Dağıtım ve işleme hızı

Yayınlanan checkpoint bugün vLLM ile sunulabilir. Quantize edilmiş sürümler yolda; Nvidia'nın benchmark'ları, gelecek NVFP4 sürümünün tek bir RTX PRO 6000 Blackwell Server Edition GPU'da 100 saatlik sesi üç dakikanın altında, 30 saniyelik klipler üzerinde yüksek eşzamanlılıkla ölçüldüğü şekilde işlediğini gösteriyor. DGX Spark ve Jetson AGX Thor gibi cihazları hedefleyen, NeMo-Speech.cpp üzerinden yerel dağıtım da planlanıyor. Nvidia'nın belirttiği bir sınırlama var: model kayıtlı ses için tasarlandı, canlı akış için değil.

Granary v2 ve fine-tuning

Modelin yanı sıra Nvidia, yine Hugging Face ve ModelScope üzerinde açık bir çok dilli veri seti ile yeniden kullanılabilir bir veri hazırlama hattı olan Granary v2'yi ve NeMo Speech araçları üzerine kurulu fine-tuning tariflerini yayınladı. Fikir, prompt düzeyindeki denetimi eğitime kadar genişletmek ve geliştiricilerin ihtiyaç duydukları transkript kurallarını tanımlayıp modeli kendi alanlarının kelime dağarcığına ve aksanlarına uyarlamasını sağlamak. Nvidia'nın aktardığı bir tıp vakası çalışmasında fine-tuning, hold-out konuşmacılarda kelime hata oranını en iyi yalnızca-prompt sonucuna göre göreli %45,8 azaltmış.

Bloğ yazısı, tanıdık olmayan terminoloji için eğitimden önce bağlam denemeyi öneriyor: örneğin aday tıp terimlerini listelemek ve modele bunları yalnızca ses desteklediğinde kullanmasını söylemek. Ayrıca, her ses modelinde olduğu gibi, isimlerin, konuşmacı değişimlerinin ve yanıtların kayda karşı örneklemeyle doğrulanmasını tavsiye ediyor.

Neden önemli

Üretimde kullanılan konuşmadan metne sistemleri büyük ölçüde tescilli API'lere dayanıyor; açık modeller ise çok dilli doğruluk ve konuşmacı atfı gibi özelliklerde geride kalmayı eğilim edindi — çağrı analitiği, toplantı notları ve altyazılamanın ham transkripsiyon kadar ihtiyaç duyduğu özellikler bunlar. Açık leaderboard'larda lider olan, Artificial Analysis'ın doğruluk-etkin-parametre sınırında konumlanan ve kendisini eğitmek için kullanılan veri hattıyla birlikte gelen açık ağırlıklı bir model, geliştiricilere sabit bir API'yi dolambaçlı yollarla aşmak yerine uzman kelime dağarcığına uyarlayabilecekleri, kendilerinin barındırabildiği bir alternatif sunuyor. Tıptaki fine-tuning sonucu, genel bir model ile alana özgü bir model arasındaki açığın — onu çalıştıracak ve eğitecek GPU kapasitesine sahipseniz — görece az bir çabayla kapatılabileceğini gösteriyor.