· kaynak dev.to (home feed)
Nvidia ve Microsoft açık modelleri Azure, edge ve Windows'a taşırken EY yapay zeka maliyetlerini 15 kat düşürdü
Nvidia, EY'nin Nemotron açık modellerini ince ayarlayarak doğruluğu yüzde 55 artırdığını ve maliyetleri 15 kat düşürdüğünü açıkladı; şirketler açık yapay zeka seçeneklerini Azure veri merkezlerinden edge cihazlarına ve Windows bilgisayarlara kadar genişletiyor.

Neler açıklandı
Microsoft Ignite etkinliğinde Nvidia ve Microsoft, işletmelerin Nvidia'nın açık yapay zeka modellerini çalıştırmasının yeni yollarını ortaya koydu; kapsamda Azure veri merkezleri, şirket içi donanım, endüstriyel ekipman ve Windows bilgisayarlar yer alıyor. Fathom News'e göre duyurunun merkezinde bir vaka çalışması vardı: muhasebe firması EY, Nvidia'nın Nemotron modellerini kurumsal satın alma kayıtlarını sınıflandırmak için uyarladı ve değerlendirme veri setinde yüzde 55 doğruluk artışının yanı sıra özel mülk frontier modellere kıyasla 15 kat maliyet düşüşü bildirdi.
EY sonucu
EY ince ayar işlemini Programmed Training ile gerçekleştirdi; bu, Microsoft Foundry içindeki, Foundry temel altyapıyı yönetirken geliştiricilere eğitim sonrası iş akışları üzerinde kontrol sağlayan sunucusuz bir özellik. Microsoft Foundry aynı zamanda Nvidia'nın açık modelleri için müşteri erişimini genişletiyor ve özel model ağırlıklarının dağıtımı için Managed Compute desteği ekliyor.
Fathom News'e göre Nemotron ailesi geniş bir kurumsal görev yelpazesini kapsıyor. Nemotron 3.5 Super, kodlama, araştırma ve iş iş akışlarını yürüten uzun soluklu agent'lara yönelik; Lightning hızlı yanıtlar ve araç kullanımı için tasarlandı; Embed ve Rerank agent'lara ilgili bilgileri bulmada yardımcı oluyor; Parse belgelerden yapılandırılmış veri çıkarıyor; Content Safety ise zararlı içerikleri işaretliyor. Bolt ve Transcribe adlı iki model ise yüksek işlem hacimli, düşük gecikmeli akıl yürütme ve konuşma tanıma için yakında geliyor olarak listeleniyor.
Yeni Azure altyapısı
Nvidia'nın Vera Rubin NVL72 sistemleriyle çalışan Azure sanal makineleri artık Azure veri merkezlerinde faaliyete geçti; demanding akıl yürütme, agentic uygulamalar ve büyük ölçekli eğitim ile çıkarım için konumlandırıldı. Şirketler ayrıca confidential computing'i bare-metal ve rack ölçeğindeki yapay zeka altyapısına genişletiyor: Nvidia Confidential Computing ve attestation, müşterilerin hassas modelleri, verileri veya anahtarları serbest bırakmadan önce bilgi işlem ortamını doğrulamasını sağlıyor; bu, düzenlemeye tabi bilgilere sahip kuruluşlara yönelik bir güvence.
Performans konusunda Nvidia, Azure'un MLPerf Training v6.1'de DeepSeek-V3 modelinde GB200 NVL72 sistemlerle 10.240 Nvidia GPU'ya ölçeklendiğini ve bunu bu turun en büyük ölçeği olarak nitelendirdi. MLPerf Inference v6.1'de ise Azure'un GB300 NVL72 sistemleri, Fathom News'in aktardığı Signal65 rakamlarına göre DeepSeek-R1 etkileşimli iş hacminde bulut başvurularının yüzde 10'dan fazla önünde yer aldı. Nvidia MaxLPS kullanılarak güç verimliliği çalışmaları sürüyor.
Microsoft, yeniden sattığı teknolojinin aynı zamanda bir müşterisi: şirket, Bing arama modelleri için eğitim sonrası süreçlerde Nvidia'nın Dynamo çıkarım yazılımını ve RTX PRO 6000 Blackwell GPU'larını kullanıyor.
Yerel ve edge sistemlere ulaşmak
Foundry Local'deki genişletilmiş Nemotron 3.5 desteği, akıl yürütme, kodlama ve araç kullanan agent'ları, metin, belge görselleri, grafikler ve tablolar arasındaki kanıtları bulan retrieval modelleriyle birlikte Azure Local ortamlarına getiriyor. Nvidia'nın Cosmos fiziksel yapay zeka modelleri de Foundry Local'e taşınıyor.
Azure Local ayrıca donanım ortaklarından RTX PRO 6000 Blackwell GPU'larını şirket içi dağıtım için destekleyecek ve makine görüşü, robotik ve otonom operasyonlar gibi endüstriyel uygulamalar için Jetson Thor ile Jetson Orin edge platformlarına genişleyecek.
Masaüstü tarafında şirketler, Nvidia RTX Spark destekli Windows bilgisayarlarda yerel büyük dil modeli deneyimlerini sergilemeyi planlıyor. Windows 365 Cloud PC'ler sınırlı önizlemede Direct Stream kazanıyor; bu, zorlu ağlarda bile düşük gecikmeyle saniyede 60 kare hızında iki adede kadar 4K akışı destekleyerek zorlu grafik iş yüklerini ele alıyor. Genel önizlemenin 2027 başında yapılması planlanıyor.
Bilimsel araştırma için Nvidia'nın BioNemo Agent Toolkit ve ALCHEMI Toolkit'i Microsoft Discovery kataloğuna giriyor. İlk entegrasyon, laboratuvar değerlendirmesi için aday protein yapıları ve amino asit dizileri üretmek üzere Washington Üniversitesi Protein Tasarımı Enstitüsü ile geliştirilen RFD4-Proteina modelini kullanıyor.
Neden önemli
İzlenmesi gereken kısım EY rakamları, çünkü bunlar açık model argümanını somutlaştırıyor. Bir kuruluş; bir modeli indirip kendi kayıtlarıyla ince ayar yapabilir, kontrol ettiği altyapıda çalıştırabilir ve dar bir görevde frontier bir modeli maliyetin on beşte biri karşılığında geride bırakabilir. Bu örüntü tekrarlanırsa, daha fazla işletme satın alma kayıtlarını sıralama gibi rutin işlerin neden en pahalı kapalı modellere gönderildiğini sorgulayacak.
Bu düzenleme her iki satıcıya da hizmet ediyor. Microsoft, müşteriler ister kapalı frontier modelleri ister daha ucuz Nvidia alternatiflerini seçsin onları Azure içinde tutarken, Nvidia buluttaki Vera Rubin rack'lerinden iş istasyonu ve edge GPU'larına kadar her katmanda silikon tedarik ediyor. Açık soru benimsetme: daha fazla kuruluşun EY gibi maliyet ve doğruluk sonuçlarını yayımlayıp yayımlamayacağı ve söz verilen Bolt ile Transcribe modellerinin ek günlük iş yüklerini daha pahalı kapalı modellerden uzaklaştırmak için zamanında Foundry'ye gelip gelmeyeceği.
- #nvidia
- #microsoft
- #azure
- #open-models
- #edge-computing
İlgili yazılar
- Microsoft AZ-500'i emekliye ayırdı, yapay zekâ iş yükü güvenliğini kapsayan SC-500 sınavıyla değiştirdi
- AI exploit araçları ve Microsoft'un rekor 1.252 CVE'lik Patch Tuesday'i bir yama panigi yarattı
- NVIDIA Dynamo 1.6.2, aşırı büyük prompt'ları HTTP 400'e çeviriyor ve SGLang için isteğe bağlı GC dondurma ekliyor