Jane Street'in New York veri merkezinde yanlış duman alarmı soğutmayı durdurdu ve sprinklerları aktif hale getirdi

Jane Street sistem ekibinin eski bir üyesi olan Michael Bacarella, yanlış bir duman alarmının ticaret firmanının tek New York veri merkezini neredeyse suya boğacağı gecenin firsthand bir anlatımını yayımladı. İnşaat tozu bir duman dedektörünü tetikledi; bu da makine odasının soğutmasını otomatik olarak kapattı ve tavanındaki sprinkler borularını basınçlandırdı — böylece ısının kendisi sprinkler başlarını açmadan önce her sunucuyu elle fişten çekmek için bir yarış başladı. Yazı Bacarella'nın kişisel blogunda yayımlandı ve Hacker News'in ana sayfasında öne çıkarıldı.

Makineler neden bir ofis kulesindeydi

Anlatıma göre Jane Street, bilgisayarlarını Aşağı Manhattan'daki 1 New York Plaza'da bulunan işlem salonundan uzaklaştırmaya uzun süre direndi. Küçük bir makine odası olarak başlayan yer, zamanla önemli bir tesise dönüştü: yaklaşık on sıra sunucu kabini, her sıra on kabin derinliğinde, bir online UPS, bilgisayar odası klima (CRAC) ünitesi, büyük boyutlu ağ switch'leri ve yeraltında bir dizel yedek jeneratör — hepsi sıradan bir ofis gökdeleninin içinde.

Bacarella bu düzenin iki nedeni olduğunu söylüyor. Biri fikri mülkiyet hırsızlığı korkusuydu: firma, binadan çıkarılan sunucuların ticaret stratejilerini ortaya çıkarabileceğinden endişe ediyordu. Diğeri ise kontroldü: mühendisler, koridorun karşısına geçip kontrolden çıkmış otomatik ticaret sistemlerinin elektriklerini fiziksel olarak kesebilme seçeneğini istiyorlardı. Firmanın risk kültürünü kısmen, bir nükleer denizaltıda görev yapmış bir ortağa bağlıyor; bu kişinin temel kuralı, mekanik olarak bağlı ve bir insanın ulaşabileceği bir kapatma anahtarının varlığı olmadan otomasyona güvenmemekti.

Yanlış bir alarm sprinklerları nasıl aktif hale getirdi

Tetikleyici son derece sıradandı: veri merkezine bitişik bir hazırlık odasında malzemeleri kesen yükleniciler, duman dedektörünü tetikleyecek kadar toz çıkardı.

Bacarella'nın açıkladığı gibi, sprinkler düzeni aşamalı çalışıyor. Odanın üzerindeki borular normalde su içermez; bu sayede yukarıda gelişen yavaş sızıntılardan kaynaklanan sorunlar önlenir. Duman alarmı çalıştığında bu borulara basınç altında su pompalanır — ama henüz hiçbir yerden su sıçramaz. Her sprinkler başı, çevresindeki hava yeterince ısındığında tek tek açılır; Bacarella bu eşiği yaklaşık 150°F olarak veriyor. Tehlikeli nokta ise ayrı bir geçişme mekanizması: dolaşan hava gerçek bir yangını besleyeceği için, duman alarmı CRAC ünitelerini kapatacak şekilde bağlanmıştır. Soğutması olmayan, dolu bir sunucu odasında sıcaklık istikrarlı biçimde yükselir — doğrudan, az önce basınçlandırılmış başların açılacağı noktaya doğru.

Bir veri merkezini elle fişten çekmek

Firmanın Hong Kong ofisinden gelen bir telefonla uyarıldı — orada biri, birçok makinede sunucu sıcaklık değerlerinin aynı anda yükseldiğini fark etmişti. Binaya dokuz dakikalık yürüme mesafesinde oturan Bacarella oraya koştu, asansörle 33 kat yukarı çıktı ve fişleri çekmeye başladı; her sırayı tek tek gezerek kabin kabin fişleri çekti. Sıcaklık göstergesinin 141°F'den ve 143°F'nin üzerinden geçip sonunda yaklaşık 143.6°F'de, tetikleme noktasının hemen altında düzleştiğini izledi.

Dikkat çekici olan, dediğine göre, makine odasının tam da her zaman birinin acil bir durumda elektriği kesebilmesi için işlem salonunun yanında olması — ancak kimse bunu, donanımı yangın söndürme sisteminin kendisinden korumak için yapacağını düşünmemişti.

Sonrası ve izleme boşluğu

New York'un büyük piyasaları gün içinde çoktan kapanmış olduğu için kesinti minimum düzeyde kaldı ve sistemler ertesi sabah yeniden çalışıyordu. Bacarella, olay sonrası incelemeleri cezalandırıcı değil sakin ve yapıcı olarak tanımlıyor. Sonuç: sprinklerlar kalacaktı, prosedürler ve denetim güçlendirilecekti ve sunucular işlem salonunun yanındaki ofis binasında barındırılmaya devam edecekti. Bu tutumun, yazdığına göre, Hurricane Sandy gelene kadar sürdü — yazının bir devamı olarak bıraktığı bir konu.

Tespit, müdahale kadar şanslıydı. Hiçbir sunucu, tek başına biraz ısınması durumunda alarm verecek şekilde yapılandırılmamıştı; çünkü bu rutin olarak yaşanan bir durumdu. Sorun yalnızca biri, birçok makinenin aynı yükselen durumu eşzamanlı bildirdiğini tesadüfen gördüğü için fark edildi. Bacarella, ertesi sabah tek görevi tam olarak bu kalıbı yakalamak olan bir izleme aracı yapmaya koyulduğunu yazıyor: birçok sunucuda eşzamanlı sıcaklık artışı, yani sistemik bir soğutma arızasının işareti.

Neden önemli

Olay, mantıklı ve birbirinden izole güvenlik mekanizmalarının nasıl yıkıcı bir zincire dönüşebildiğinin kompakt bir incelemesi. Bir duman dedektörü, aşamalı bir sprinkler tasarımı ve bir HVAC kapatma geçişmesi kendi başlarına makul davranır; ama birlikte rahatsız edici bir tozu, bir veri merkezini boğmaya doğru işleyen bir geri sayıma dönüştürdüler. Ayrıca, zamanında fiziksel olarak ulaşılabilen son çare insan müdahalelerini — sonuç dakikalar ötede oturan tek bir mühendise bağlıydı — ve tüm filoyu kapsayan izlemeyi savunuyor; çünkü birçok host'taki korelasyon anomaliler, host başına eşiklerin asla işaretlemeyeceği arızaları ortaya çıkarır. Yeniden amaçlanmış ofis alanlarında kritik ekipman çalıştıran herkes için ders şu: en tehlikeli arıza modları, sistem sınırlarını aşayanlardır.