Yükseltilmiş zemin altındaki çinko bıyıkları çok megavatlık AI kümelerini devirebilir

Eğitim çalışmalarını durduran bir bakım kontrolü

dev.to'da yayımlanan teknik bir yazıya göre, 2 megavatlık bir AI eğitim kümesinin yükseltilmiş zemini altında yapılan planlı bir denetim, yaklaşık doksan dakika sonra küme genelinde donanım arızalarıyla sonuçlandı. Söz konusu tesis, her biri sekiz adet, ivme başına 700 watta kadar güç çeken NVIDIA H100 GPU barındıran 128 sıva sıvı soğutmalı sunucu rack'i çalıştırıyor. Teknisyenler erişim karolarını kaldırdıklarında, zemini taşıyan çinko kaplamalı çelik kaide ve kirişlerde metalik bir parıltı fark ettiler. Hava akışı ve hesaplama yükü geri yüklendiğinde, düğümler PCIe arka uçlarında ve güç dağıtım kartlarında aralıklı kısa devre olayları kaydetmeye başladı. Belirtiler — yeniden üretilemeyen ECC hataları, GPU sıfırlamaları ve ani iş sonlandırmaları — haftalarca süren büyük dil modeli eğitim çalışmalarını aksattı.

Yazıda belirtildiği üzere arızalı kartların parçacık analizi, 0,5 ile 2 milimetre uzunluğunda ve 1 ile 5 mikrometre çapında çinko filamentler buldu. Bıyıklar, zemin yükünden ve nem dalgalanmalarından kaynaklanan sıkıştırma geriliminin etkisiyle yıllar boyunca elektrokaplamalı zemin altı donanımı üzerinde büyümüş ve hava kanalı bölgesi rahatsız edildiğinde hareketlenmişti.

Çinko bıyıkları nasıl oluşur

Eski nesil yükseltilmiş zemin sistemleri yaygın olarak galvanizli veya çinko elektrokaplamalı çelik paneller ve kirişler kullanır; kaplama kalınlığı 5 ila 15 mikrometredir. Kaplama, kesme ve presleme işlemleri çinko katmanında artık sıkıştırma gerilimi bırakır ve bu gerilim zamanla bıyıkların kendiliğinden dışa büyümesini tetikler: tek kristal filamentler, yüzey kusurlarından ve tanı sınırlarından yüzeye dik olarak büyür. dev.to yazısı, çekirdeklenmenin kurulumdan sonraki aylar içinde başlayabileceğini, ancak filamentlerin sorunlu uzunluklara ulaşması için genellikle yıllar gerektiğini belirtiyor.

Zemin altı koşulları süreci hızlandırır. Yüzde 40 ila 60 arasındaki bağıl nem çinko iyon göçünü kolaylaştırır, CRAC ünitelerinden, PDU'lardan ve sunucu fanlarından gelen titreşim gerilimli kafes yapısını sürekli etkiler, ve yaklaşık 18 °C ile 32 °C arasındaki sıcaklık döngüleri, kaplama ile çelik alt tabaka arasındaki farklı genleşme yoluyla mikro gerilim ekler. Yazıda, yıllık 0,1 milimetreyi aşabilen büyüme hızlarından ve ağır etkilenmiş panellerde santimetre kare başına birkaç yüz bıyık yoğunluğundan söz ediliyor. Maliyet odaklı eski panellerde yaygın olan elektrokaplamalı kaplamalar, daha ince tanı yapıları ve çekirdeklenme noktaları yaratan kaplama katkı maddeleri nedeniyle sıcak daldırma galvanizli olanlardan daha kolay bıyık oluşturuyor. 15 ila 25 yıldır hizmette olan zeminlerde filamentler sık sık, devre kartlarında veya güç dağıtım ünitelerinin içinde komşu iletkenleri köprüleyebildikleri 1 milimetre eşiğini aşıyor.

AI iş yükleri durumu neden kötüleştiriyor

Yazının ana tezi, AI altyapısının eski bir arıza modunu büyüttüğüdür. Sıvı destekli arka kapı ısı değiştiricileri hava soğutmayı tamamladığında достигilen 60 ila 120 kW kabin başına rack yoğunlukları, soğutma sistemlerinin hava kanalından çok daha fazla hava geçirmesini zorunlu kılar. Yazı, her biri 3.000 CFM'i aşan CRAC ve CRAH ünitelerinden (eski tasarımlarda 1.200 ila 1.800 CFM) ve AI sıralarına hizmet eden delikli karoların altındaki zemin altı basınç farklarının tarihsel 0,02–0,05 inç su sütunundan 0,08–0,12 inç su sütununa yükseldiğinden bahsediyor.

Anlatılan olayda her GPU sunucusu, emiş fanları üzerinden yaklaşık 200 CFM hava çekmiş ve delikli karo çıkışlarında 400 fit/dakikayı aşan yerel hız hızları oluşmuştur. Bu kesme kuvvetleri çinko yüzeylerden daha fazla bıyık koparmış ve basınç farklarının da yardımıyla milimetre altı parçacıkları kablo geçiş deliklerinden geçirerek komşu rack'lerin ön emişlerine itmiştir. Sunucuların içinde iletken filamentler, GPU kız kartlarındaki ve voltaj regülatör modüllerindeki ince aralıklı devre hatlarını köprüleyerek koruma devrelerini tetikleyen geçici düşük dirençli yollar oluşturmuştur. Arızalar, fan hızlarının ve güç çekiminin en yüksek olduğu yoğun eğitim dönemlerinde kümelenmiş ve olay sonrası boroskop denetimleri, en yüksek hızlı karolara yakın çinko kaplamalı desteklerde görünür tükenme bölgeleri göstermiştir.

İyileştirme ve kalıcılık

Bildirildiğine göre toparlanma, etkilenen kartların sistematik olarak değiştirilmesini, tüm zemin altı besleme yollarına iletken parçacık filtreleri takılmasını ve çinko kaplamalı bileşenlerin toz boya kaplı veya paslanmaz çelik alternatiflerle değiştirilmesini gerektirmiştir. Rack emişlerine yerleştirilen hava taşıyan parçacık sayaçları, ilk olaydan sonraki haftalar boyunca yükselmiş metalik partikül sayımları kaydetmiş; bu da kaynak malzeme tamamen ele alınana kadar kirlilik mekanizmasının sürdüğünü vurgulamıştır.

Neden önemli

AI yapım projeleri sıklıkla, yükseltilmiş zemin sistemleri modern hava akışı hacimleri için hiç tasarlanmamış tesislerde barındırılıyor ve bu arıza modu, bir bakım veya yük artışı yıllarca birikmiş bıyık büyümesini hareketlendirene kadar görünmez kalıyor. Belirtiler sıradan donanım sorunları gibi göründüğünden, kök neden analizi yavaş ve pahalı hale gelirken eğitim çalışmaları ölmeye devam ediyor. Yazıdan çıkarılan pratik dersler somut: bıyık büyümesi için hava kanalı donanımını denetleyin, rack emişlerinde metalik partikülleri izleyin, zemin altı bakımını bir kirlilik olayı olarak ele alın ve yoğun AI sıralarına hizmet veren zeminleri yenileştirirken bıyık oluşturmayan kaplamaları tercih edin.