· kaynak dev.to (home feed)
SC26 sonrası analiz: AI kapasite planlamasında GPU sayısının yerini rack, watt ve su alıyor
SC26 sonrası duyurular üzerine yayımlanan bir dev.to analizi, bir platform ekibinin gerçekte ne kadar AI kapasitesi dağıtabileceğini artık hızlandırıcı sayısının değil, rack gücünün, soğutma devrelerinin ve serving-engine sürümlerinin belirlediğini savunuyor.

Chicago'da düzenlenen Supercomputing 2026'nın ardından dev.to'da yayımlanan bir analiz, AI kümelerini boyutlandırmanın standart yönteminin — bir hızlandırıcı seç, adetleri say, bir kullanım oranı tahminiyle çarp — donanımın gerçekte nasıl satıldığını veya dağıtıldığını artık yansıtmadığını ileri sürüyor. Yazarın temel iddiası, planlamanın anlamlı biriminin artık rack'in kendisi, onun güç beslemesi, soğutma devresi ve silikon üzerinde çalışan kesin yazılım sürümü olduğu.
Satıcılar bileşen değil rack teslim etti
Analizin öne çıkardığı desen tek bir duyuruda değil, birkaç duyuruya yayılmış durumda. 18 Kasım'da Compal, NVIDIA'nın HGX Rubin NVL8 platformu üzerine kurulu rack ölçeğinde sıvı soğutmalı bir sistem duyurdu ve Giga Computing aynı fuarda sıvı soğutmalı rack ölçeğinde altyapı sergiledi. Bir gün sonra, gönderiye göre, bir HPCWire derlemesi Compal, Penguin Solutions, ASUS ve Dell'den yeni sistemleri topladı — entegratörün monte etmesi için bırakılan bileşenler değil, sıvı soğutma ve depolamayla bütünleşik ürünler olarak satılan rack ölçeğinde makineler.
Yazara göre en anlamlı rakamlar, hiç hızlandırıcı satmayan bir satıcıdan geldi. 16 Kasım'da nVent, sıvı soğutma portföyünün dört gigavattan fazla dağıtılmış olduğunu söyledi, 2,3 megavatlık modüler bir soğutucu dağıtım ünitesi (CDU) gösterdi ve MAVERICK hattında 800 volt DC bir güç rack'i tanıttı. Gigavattarla ölçülen kurulu soğutma, ısı sorununun mühendislik sonrası düşüncesi olmaktan çıkıp sermaye planına girdiği anlamına geliyor. Gerilim rakamı ise önemli, çünkü dağıtımı 800 V DC'ye taşımak, şebeke beslemesi ile hızlandırıcı arasındaki dönüşüm aşamalarını ortadan kaldırıyor — daha az transformatör, redresör ve UPS bloğu, güç odasında daha az bakır ve daha az atık ısı.
Mevcut salonlar için retrofit yolları
Çoğu ekip sabit bir güç tahsisli, tavan yüksekliği düşük ve sıraların yakınında su bulunmayan odaları devralır ve analiz bu kurulu tabana yönelik duyuruları işaret ediyor. Nexalus ve Renda, sekiz NVIDIA Blackwell GPU'yu CPU, bellek, depolama, güç ve soğutmayla bütünleşik şekilde barındıran 4U'lık bir şasi olan Nova8'i piyasaya çıkardı — odanın etrafının yeniden inşa edilmesini değil, mevcut bir rack'e sığacak şekilde tasarlanmış bir ürün.
Fujitsu farklı bir yol izledi. Gönderiye göre, Kasım'da 144 çekirdekli MONAKA işlemcisinin ve sunucusunun küresel satışına başladı; 2 nm çekirdek die ile 5 nm SRAM ve I/O die'lerin yığılmasıyla üretilen bu ürünü SC26'da hava soğutmalı tesislerde çıkarım (inference) için tasarlanmış bir egemen-AI (sovereign-AI) sunucusu olarak sergiledi. Yazarın vurgusu şu: mevcut bir salondeki hızlı bir CPU, bir inşaat projesi gerektiren hızlandırıcıyı geride bırakabilir — bu, ham benchmark'larla değil, tesisler ve planlamayla ilgili bir iddia.
Throughput, yazılım sürümünün bir özelliğidir
Argümanın daha az göze çarpan yarısı ise bir rack'ten elde edilen işin yazılım sürümüne bağlı olması. Gönderi, 2 Kasım'da 257 katkıcıdan gelen 1.007 pull request ile yayımlanan SGLang v0.5.23'e atıf yapıyor. Paged Experts özelliği sayfalama (paging) yöntemini KV cache'lerin ötesine taşıyıp bir modelin uzman ağırlıklarına genişletiyor; böylece tek bir GPU'nun belleğinden daha büyük bir mixture-of-experts modeli, tek bir tüketici kartında CPU offload'a kıyasla 30 kata kadar hızlı çalışabiliyor. Aynı sürüm, NVIDIA ve AMD donanımı için birleşik kalıcı megakernel yolları ekledi ve tek kullanıcılı decode işlemini GB300'de %44'e kadar, MI350X'de %75'e kadar hızlandırdı.
vLLM 0.34.0 sürümü aynı hikâyenin operasyon tarafını gösteriyor. Genişletilebilir KV-cache boyutlandırma, H200 üzerindeki bir MiniMax-M3 cache'ini 433k'dan 672k token'a çıkardı; ancak eşzamanlılık (concurrency) 128'de bazı modeller token başına %6–18 daha yüksek decode gecikmesi ödedi — bir release note'un içinde sunulan bir throughput-karşılığında-context ödünü. Sürüm ayrıca CRIU ile checkpoint/restore ve veri-paralel/uzman-paralel bir gruptan başarısız bir rank'ı düşürüp uzmanlarını servis yeniden başlatılmadan yeniden dağıtma yeteneğini de ekledi.
Neden önemli
Altyapı ekipleri için sonuç şu: kapasite artık bir GPU veri sayfasından türetilen tek bir rakam değil; tesis başına ve yazılım sürümü başına takip edilmesi gerekiyor. Analiz bir kontrol listesi öneriyor:
Binanın bugün neyi kabul ettiğini denetleyin: rack başına kilovat, tavan yüksekliği ve suyun varlığı ya da yokluğu. 4U'lık sekiz GPU'lu sunucu uyan tek seçenek olabilir.
Donanım siparişi vermeden önce dağıtım gerilimine karar verin, çünkü elektrik zincirini sonradan retrofit etmek pahalıdır.
Çok megavatlık bir CDU'yu bir tesis varlığı olarak görün: satıcısı, SLA'sı, yedek parçaları ve bakım sözleşmesi olan bir varlık.
Serving-engine sürümünü, attention backend'ini ve cache politikasını saniye başına token'ların yanına kaydedin ve her sürümün daha hızlı olduğunu varsaymak yerine her yükseltmeden sonra yeniden ölçün.
Kısa bir smoke test yerine saatler sürekli yük altında rank arızası kurtarmasını test edin.
Düşük trafikli, yerel veya egemen iş yükleri için CPU çıkarımını (inference) değerlendirin.
Yazarın adlandırdığı daha geniş değişim şu: silikon artık hiç olmadığı kadar çok biçimde gelirken, onun ne kadarının kullanılabilir olduğunu salon, güç beslemesi ve yazılım sürümü belirliyor. Hâlâ yalnızca GPU sayılarıyla yazılan planlar kâğıtta kesin görünebilir; commissioning gününü atlatacak olanlar rack'ler, watt'lar ve yazılım sürümleriyle yazılanlardır.
- #datacenters
- #liquid-cooling
- #ai-infrastructure
- #inference
- #capacity-planning