AWS, tek bir yapılandırma değişikliğiyle PyTorch uygulamalarını Trainium'a taşıyan TorchNeuron'u duyurdu

AWS, PyTorch üzerindeki Nvidia hâkimiyetini gevşetmek için TorchNeuron'u yayınladı

Amazon Web Services Pazartesi günü, PyTorch ile geliştirilen yapay zeka uygulamalarının Amazon'un özel yapay zeka çipi olan Trainium üzerinde çalışmasını sağlayan geliştirici aracı TorchNeuron'u piyasaya sürdü. TechCrunch'a göre bu sürüm, AWS'nin Nvidia'yı yapay zeka iş yükleri için varsayılan donanım tedarikçisi haline getiren yazılım avantajını aşmaya yönelik şimdiye kadarki en doğrudan girişimi.

Tek bir yapılandırma değişikliği

TorchNeuron doğrudan PyTorch'tan uyarlandığı için, framework'ü bilen geliştiriciler onu nasıl kullanacaklarını zaten biliyor. Amazon'a göre PyTorch uygulamaları, hiçbir kod yeniden yazılmadan tek bir yapılandırma satırı değiştirilerek Trainium'a taşınabiliyor. Şirket ayrıca yapay zeka uygulamalarının kabaca %85'inin Facebook'ta doğan ve 2022'den bu yana Linux Foundation çatısı altında sürdürülen açık kaynak araç seti PyTorch ile geliştirildiğini tahmin ediyor.

Aracı önemli kılan da bu geniş erişim. Yıllar boyunca Nvidia, uygulamaların GPU'larına ulaşmasını sağlayan yazılım katmanı CUDA'nın PyTorch ile sorunsuz çalışması için yatırım yaptı; bu da Nvidia donanımını neredeyse varsayılan olarak framework'ün içine yerleştirdi. Amazon bu bağı gevşetmeye teşebbüs eden ilk şirket değil: TechCrunch'un belirttiği gibi, PyTorch kullanıcıları benzer bir yapılandırma değişikliğiyle halihazırda AMD GPU'larını veya Apple çiplerini hedefleyebiliyor.

Girişimlere yapılan çağrı

Amazon, Trainium'a geçişin yalnızca kolay bir taşıma olmadığını, AWS'nin geri kalanına kapı araladığını savunuyor. Şirket bunu, büyük ölçüde Nvidia donanımı üzerine kurulu uzman işlem sağlayıcıları olan CoreWeave, Nebius ve Firmus gibi neocloud'lara karşı bir avantaj olarak çerçeveliyor.

"AWS üzerinde inşa ediyorsunuz. Tek amaçlı bir işlem sağlayıcısına bahse girip etrafına her şeyi aceleyle kurmaya çalışmıyorsunuz," diye konuşan isim, Amazon'un özel çiplerini tasarlayan birim olan AWS Annapurna Labs'da Teknoloji Yazılımı Başkan Yardımcısı Colin Brace. Sözleri TechCrunch'a aktardı.

Brace ayrıca fiyat-performans oranına ve Trainium'un hem eğitim hem çıkarım (inference) işlemlerini yönetebildiğine dikkat çekti; AWS'ye göre bu, token başına fiyatı piyasada en düşük olmasa bile bir iş yükünün tamamının ekonomisini iyileştiriyor. ElevenLabs ile rekabet eden yapay zeka ses sağlayıcısı Deepgram'ı örnek verdi: Şirketin, doğal PyTorch desteği üzerinden Trainium'a geçtikten sonra üretim sınıfı doğruluğu korurken dolar başına %70 daha fazla ses işlediğini söyledi.

PyTorch'un kendisini değiştirmek

Potansiyel olarak daha büyük hamle ise üst katta (upstream) yapılacak. Amazon, ana PyTorch projesine kod katkısı yapacağını ve donanıma özgü bağlantıları framework'ten soymak için PyTorch topluluğuyla birlikte çalışacağını söylüyor. Beyan edilen hedef, PyTorch'u yalnızca Trainium kullananlar için değil, her geliştirici için çip bağımsız hale getirmek.

TechCrunch dikkat çekmeye değer bir uyarıya işaret ediyor: PyTorch'un değerinin bir kısmı, tam olarak yapay zeka kodunu donanıma eşleme işinin zahmetli yanını üstlenmesinden geliyor. Framework'ü daha az Nvidia merkezli hale getirmek, Amazon'un vaat ettiği seçenek ve düşük maliyeti sağlayabilir — ya da geliştiricilere sadece daha fazla yapılandırma işi yükleyebilir.

Neden önemli

Nvidia'nın yapay zekadaki hâkimiyeti silikonuna olduğu kadar yazılım setine de dayanıyor. Çoğu yapay zeka uygulamasının arkasındaki framework olan PyTorch ile CUDA'nın sıkı entegrasyonu, geçiş maliyetlerini yüksek tuttu ve rakip hızlandırıcıları kenara itti. Amazon, PyTorch'u Nvidia'dan ayırmayı başarırsa — TorchNeuron da bu çabanın aracı — Nvidia'nın GPU işini koruyan kilitlenme (lock-in) zayıflar; bu da Trainium ve diğer meydan okuyanlara yarar sağlarken Nvidia kapasitesini yeniden satan neocloud'lara baskı uygular. Brace'nin dediği gibi: "Asıl hikaye, geliştiricilerin hiçbir zaman gerçek bir seçeneğe sahip olmasını engelleyen kilitlenmeyi ortadan kaldırmak." Geliştiricilerin sonunda gerçek bir seçenek mi yoksa ek bir sürtünme mü elde edeceği ise hâlâ açık bir soru.