SkyPilot zamanlayıcısı, Grace Blackwell NVL72 raklarından yüzde 27 daha fazla kullanılabilir GPU elde edildiğini iddia ediyor

İddia

Hacker News ana sayfasına kadar yükselen bir SkyPilot blog yazısı, NVIDIA'nın Grace Blackwell NVL72 raklarının ancak zamanlayıcı yerleştirme birimini tekil sunucu değil rak olarak ele aldığında karşılığını verdiğini savunuyor. Şirket, platformunun çok düğümlü işleri tek bir rakın NVLink alanı içinde tutarak aynı fiziksel raklardan yüzde 27 daha fazla kullanılabilir GPU çıkardığını söylüyor.

Tüm bağlantı arayüzleri eşit değil

Yıllarca boyunca NVLink yalnızca tek bir sunucunun içinde var oldu. Birden fazla makineye yayılan herhangi bir iş, InfiniBand'i ya da AWS'nin EFA'sı ya da Google'ın GPUDirect-TCPX'si gibi bir bulut karşılığını geçmek zorundaydı ve bu sınır tam da can acıtan yere denk geliyor. Modern eğitim sürecinin kritik yolunda iki iletişim deseni yer alıyor: tensor paralelliğinin all-reduce adımları ve expert paralelliğinin all-to-all alışverişleri.

Tensor paralelliği, bir katmanın ağırlık matrislerini GPU'lar arasında böler. Megatron-LM'in yaygınlaştırdığı düzen — ilk matris çarpımını sütun bazında, ikinciyi satır bazında bölmek — senkronizasyonu her transformer bloğu başına tek bir all-reduce'a indirir, ama yine de her katman ileri geçiş sırasında iki all-reduce tetikler ve bunlar hesaplamayla tam olarak örtüşemez. Hugging Face, bu trafiği NVLink'den InfiniBand'e taşıdıktan sonra eğitim veriminde yüzde 43'lük bir düşüş ölçtü; SkyPilot bu rakama atıf yapıyor.

Expert paralelliği, mixture-of-experts modellerinde sorunu katlıyor: bir yönlendirici token'ları GPU'lara dağılmış expert'lere gönderiyor, sonra sonuçları birleştiriyor ve all-to-all trafiğinin hacmi, modeller her token'ı daha fazla expert'a yönlendirdikçe büyüyor. Geleneksel 8 GPU'lu sunucularda 64 yollu bir expert-paralel grubu birçok makineye yayılmak zorunda ve bu da all-to-all trafiğini InfiniBand üzerinden geçiriyor; SkyPilot'a göre optimize edilmemiş iletişim eğitim süresinin yüzde 60'a kadarını tüketebiliyor ve GPU başına bant genişliği 18 kat düşüyor.

NVL72 neyi değiştiriyor

NVL72, NVLink'i tüm bir raka yayıyor: 72 GPU'nun tamamı, toplam 130 TB/s iç bant genişliğine sahip tek bir fabrik'e katılıyor. Her GPU, GPU başına 1,8 TB/s bant genişliği sağlayan, her biri 100 GB/s çift yönlü bant genişliği sunan 18 NVLink portu taşıyor ve bunlar 18 NVSwitch çipine eşleniyor. Topoloji tamamen engelsiz (non-blocking), yani raktaki her GPU, düzgün gecikmeyle diğerine tam bant genişliğinde ulaşabiliyor.

Pratik sonuç, büyük paralellik gruplarının tek bir raka sığması. 64 yollu bir expert-paralel grubu, sekiz makineye dağılmak yerine tamamen NVLink alanı içinde kalıyor. Çıkarım tarafında SkyPilot, GB200 NVL72'nin DeepSeek-R1'i etkileşimli hızlarda, en fazla 8 yola çıkabilen 8 GPU'lu B200 sunucularının GPU başına veriminin 4,4 katına ulaşan 32 yollu expert paralelliğiyle sunduğunu gösteren rakamlara atıf yapıyor. SkyPilot'un referans verdiği bir vLLM benchmark'ı bellek tarafını somutlaştırıyor: bir modeli tensor-paralel olarak iki GPU'ya bölmek, kullanılabilir KV-cache bloklarını 13,9 kat, verimi 3,9 kat artırmış.

Zor kısım zamanlama

Dikkat edilmesi gereken nokta, NVL72'nin avantajının bir iş raklar arasına taştığı an buharlaşması; çünkü raklar arası trafik hâlâ InfiniBand üzerinden akıyor. Ayrıca rak yerelliği operasyonda kırılgan: donanım arızaları düğümleri devre dışı bırakırken, farklı zamanlarda biten işler boş kapasiteyi küme genelinde dağıtıyor.

Güvenilirlik verileri bunu somutlaştırıyor. SkyPilot, Meta'nın gigawatt ölçeğinde işlettiği bir süperkümeye işaret ediyor; burada — ciddi güvenilirlik mühendisliğinin ardından — 4 GPU'lu bir düğüm yine de ortalama yaklaşık 490 günde bir kesinti yaşıyor. Binlerce düğün genelinde kesintiler rutin.

SkyPilot'un sezgiye aykırı tavsiyesi, 18 düğümlü rakların tamamını ayırmaktan kaçınmak. Her rakta birkaç yedek düğüm bırakmak, her düğümü doldurmaktan daha fazla kullanılabilir kapasite sağlıyor; çünkü dilim boyutlandırması, bir işin GPU arızasında rak yerelliğinden vazgeçmeden hayatta kalıp kalmayacağını belirliyor. SkyPilot Platformu topoloji farkındalıklı yerleştirmeyi, donanım arızalarından yerinde kurtarmayı ve paylaşılan kümelerin otomatik birleştirilmesini (defragmentasyon) bir araya getiriyor; yüzde 27'lik başlık rakamı şirketin bu yaklaşım üzerine yaptığı kendi analizinden geliyor.

Neden önemli

Sınırdaki eğitim bütçelerini GPU maliyeti domine ediyor ve NVL72 rakları pahalı, kıt sermaye kalemleri. Halihazırda sahip olduğunuz donanımdan yüzde 27 daha fazla kullanılabilir kapasite çıkarmak, kabaca dörtte bir daha fazla GPU edinmeye — ya da bu alımı tamamen ertelemeye denk düşüyor. Yazı ayrıca bir donanım hikâyesini yazılım hikâyesine dönüştürüyor: rak ölçeğindeki fabrik'lerin değeri, yalnızca silikondan değil, zamanlayıcıdan kaynaklanan bir şekilde ya yakalanıyor ya da yok ediliyor. Bariz uyarı ise şu: rakam, söz konusu zamanlayıcıyı satan bir satıcıdan geliyor; ama arkasındaki bağlantı arayüzü fiziği, SkyPilot'un tutarlı bir argümana dönüştürdüğü Hugging Face, Meta, NVIDIA ve vLLM ölçümlerine dayanıyor.