Meta, bir milyona doğru ölçeklenen gigawatt'lık Prometheus supercluster'ının detaylarını paylaştı

Meta, yeni yayımladığı Muse temel model ailesinin arkasındaki gigawatt ölçekli supercluster Prometheus'un içeriden bir görünümünü paylaştı. Mühendislik blogunda yayımladığı bir yazıda şirket, Ohio New Albany'deki kampüsteki cluster'ın ilk fazının çoktan tamamlandığını, Muse modellerinin burada eğitildiğini ve Meta'nın siteyi toplamda yaklaşık bir milyon GPU'ya büyütmeyi planladığını belirtti.

Web veri merkezinden eğitim üssüne

Meta'ya göre iki yıl önce New Albany sitesi sıradan bir web trafiği veri merkeziydi. Şirket bu siteyi, geleneksel sunucu binalarını yapay zekâ için optimize edilmiş veri salonlarıyla ve hızlı dağıtım yapılarıyla harmanlayarak öncü model eğitimi için bir üsse dönüştürdü. Binalar arasında kilometrelerce fiberle birbirine bağlanan ve tek bir makine gibi çalışan sitede halihazırda yüz binlerce GPU kurulmuş durumda. Cluster'daki ilk eğitim çalışmaları, Meta'nın kişisel ve profesyonel ajanlı görevler için yeni öncü modelleri olarak tanımladığı Muse Wonder dahil Muse modellerini üretti. Gelecek fazlar, Meta Superintelligence Labs'ın önümüzdeki modelleri etrafında planlanıyor.

Güvenilirlik goodput ile ölçülüyor

Meta, yalnızca ham işlem gücünü değil, kararlılığı da merkezi operasyonel zorluk olarak tanımlıyor: tek bir ana bilgisayardaki bir arıza, tüm eğitim işini yavaşlatabilir ya da durdurabilir. Şirket, Muse Wonder'ı eğiten çalışmalar sırasında, duvar saati zamanına göre faydalı eğitim ilerlemesini ölçen goodput değerini ön eğitim için %85'in üzerinde, pekiştirmeli öğrenme çalışmaları için ise %90'ın üzerinde tuttuğunu söylüyor. Bu çalışmalar sırasında filodaki kesintiler arası ortalama süre yaklaşık 47.000 GPU saatiydi; Meta, firmware düzeltmelerinin bu değeri 54.000 GPU saatinin üzerine çıkardığını ekliyor. Site ayrıca donanımın verimli çalışmasını sağlamak için kapalı devre sıvı soğutma kullanıyor.

İki NVIDIA platformu, üçüncüsü yolda

Prometheus şu anda iki NVIDIA GPU platformu çalıştırıyor ve Meta, Vera Rubin NVL72'ye dayanan üçüncüsünün yakında geleceğini söylüyor. Mevcut her iki platform da, 72 GPU'nun tek bir mantıksal hızlandırıcı olarak ağa bağlandığı NVL72 rack mimarisini kullanıyor.

Catalina adlı ilki, Ariel iki-rack konfigürasyonunda NVIDIA GB200 NVL72 kullanıyor; her rack'teki 36 GPU, NVLink ile bağlanarak 72 GPU'luk bir alan oluşturuyor. Meta, her Blackwell GPU'yu bir Grace CPU ve çift ConnectX-7 400G NIC ile eşleştirmek için bu varyantı seçti; bu da GPU başına 800G scale-out I/O sağlıyor. Şirket, standart konfigürasyonun scale-out bant genişliğini 400G'de bırakacağını, neredeyse diğer her boyutun büyürken bu dengesizliğin performansı zedeleyeceğini beklediğini söylüyor. Bir Catalina çifti 13,4 TB HBM3e bellek (GPU başına 192 GB) taşıyor, 720 tepe PFLOPS FP8 işlem gücü ve 130 TB/s NVLink bant genişliği sunuyor ve yaklaşık 120 kW çekiyor. Rack'ler, Meta'nın Open Compute Project'e katkıda bulunduğu Open Rack V3 yüksek güç tasarımını kullanıyor.

Clemente adlı ikinci platform GB300 NVL72'ye geçiyor. GPU başına bellek %50 artışla 288 GB'a, rack başına 20,7 TB'a çıkıyor ve tepe FP4 işlem gücü bir exaFLOPS'u aşıyor. NVIDIA'nın ConnectX-8 SuperNIC'leri artık GPU başına doğal olarak 800G sağlıyor ve 2:1 GPU-CPU oranıyla 72 GPU'luk tüm alan, yaklaşık 135 kW çeken tek bir rack'e sığıyor. Meta, GB200 sistemlerine kıyasla %5–10 performans iyileşmesinin yanı sıra daha az kablo ve daha iyi servis edilebilirlik bildiriyor; Clemente'nin modüler Air-Assisted Liquid Cooling veya yeni veri merkezlerinde tesis sıvı soğutması kullanabildiğini söylüyor.

Eğitim işinin biçimine göre şekillenen bir ağ

Tüm bunların altında, büyük eğitim işlerinin davranış biçimine göre tasarlanmış bir ağ var. Standart veri merkezi ağının ötesinde Meta, binalar içinde ve binalar arasında doğrudan GPU-GPU iletişimi için adanmış bir Ethernet Back-End ağı işletiyor. Topoloji, veri-paralel eğitimi yansıtıyor: gecikme ve bant genişliğine duyarlı kolektif trafik model replikası içinde bina dokusunun (fabric) kalırken, replikalar arası trafik daha fazla gecikmeye tahammül edebilen bir agregasyon ağını kullanıyor. Her bina dokusu, başlangıçta eğitim kolektiflerinin ürettiği az sayıdaki büyük ve uzun ömürlü akışı işlemek için kurulmuş bir Disaggregated Scheduled Fabric üzerinden 20.736'ya kadar GPU'yu birbirine bağlıyor. Meta, önceki 24.000 GPU'luk bina cluster'larında ve 100.000'den fazla GPU'luk bölgesel bir cluster'da kanıtlanmış kavramları yeni bir ölçek ve mesafe düzeyine taşıdığını söylüyor.

Neden önemli

Bu yazı, öncü yapay zekâ eğitiminin bugün ne gerektirdiğinin bir fotoğrafı: gigawatt ölçekli bir makineye dönüştürülmüş geleneksel bir web veri merkezi, rack başına 120–135 kW güç çekimi ve bir seçenek değil taban çizgisi olarak sıvı soğutma. En az bunun kadar dikkat çekici olan, Meta'nın neyi öne çıkarmayı seçtiği: goodput ve kesintiler arası ortalama süre; bu, bu ölçekte güvenilirlik mühendisliğinin tepe FLOPS kadar belirleyici olduğunun bir hatırlatması. Ve yaklaşık bir milyon GPU'luk açıkça belirtilen hedef, Meta Superintelligence Labs'ın önümüzdeki modellerine açıkça bağlanmış durumda; bu da işlem gücü yarışının hâlâ platoya ulaşmak yerine hızlandığına işaret ediyor.