· kaynak dev.to (home feed)
Uyuyan bir Microsoft hatası ve tek bir FAA router'ı: iki basamaklı arıza nasıl gelişti
dev.to'da yayımlanan bir postmortem, üç ay boyunca uykuda kalan bir Microsoft 365 gateway hatası ile Arkansas'taki sorunlu bir router'ın nasıl günler sürecek bir e-posta kesintisine ve ülke çapında bir uçuş durdurmasına dönüştüğünü adım adım inceliyor.

12 Kasım'da Microsoft 365'in e-posta ve iş birliği hizmetleri onlarca ülkede yaklaşık bir gün boyunca çöktü. Ertesi öğleden sonra FAA, ABD'deki kalkan tüm uçuşları dört saatten uzun bir süre tuttu. Yetkililer iki olay arasında herhangi bir bağlantı bulamadı ve hiçbirinde siber saldırı kanıtı olmadığını bildirdi; ancak dev.to'da yayımlanan bir mühendislik postmortem'i her iki olayı da aşama aşama ele alıyor ve ikisinin tanıdık bir anatomi paylaştığını savunuyor: çevredeki sistemin küçük bir yerel hatayı kapsamlı bir kesintiye dönüştürmesi.
Üç ay uyuyan bir hata
Microsoft'un ön tilki olay sonrası raporuna göre — GeekWire, The Register ve BleepingComputer'ın aktardığı gibi — e-posta kesintisinin izleri, Temmuz ayında Microsoft 365'in önünde yer alan ağ gateway sunucularına gönderilen bir değişikliğe kadar sürülüyor. Bu değişiklik, yoğun yük altında lock contention'a yol açan bir kusur taşıyordu: thread'ler paylaşılan bir lock üzerinde yığılırken CPU ve bellek tüketiyor ama faydalı bir iş yapmıyordu. Microsoft, çekişmenin Windows'a dahili bir süreç içinde olduğunu ve çekirdek sayısı fazla olan yeni makinelerde daha da kötüleştiğini söyledi.
Kusur üretim ortamında üç aydan uzun bir süre uykuda kaldı, çünkü günlük trafik gateway'leri asla çekişmenin kontrolden çıktığı rejime itmiyordu. Güvenlik marjı arızadan kısa süre önce aşındı: ayrı ve daha erken bir sorun nedeniyle gateway kapasitesinin yaklaşık %14'ü zaten çevrimdışıydı ve GeekWire'ın aktardığına göre olaydan yaklaşık 15 saat önce Teams trafiği Exchange gateway havuzuna kaydırılmıştı. Microsoft, bu koşulların tek başına hiçbirinin kesintiye yol açmayacağını söylüyor; ikisinin birleşimi gateway'leri kusurun içine itti. Şirket ayrıca yük testlerinin, üretim makinelerinden daha az çekirdeğe sahip daha zayıf donanımlara dayandığını da kabul etti.
Zincirleme etki
İlk gateway'ler kilitlenip yanıt vermeyi bıraktığında otomatik yeniden yönlendirme görevini yaptı ve trafiği kalan sağlıklı sunuculara taşıdı; onlar da aynı eşiği aşarak çöktü. Yayılma durduğunda gateway sunucularının %80'inden fazlası yanıt vermez hale gelmişti. Microsoft, kesintiyi kusurlu değişikliği geri alan bir güncelleme dağıtarak çözdü.
Kurtarma süreci kendi sorununu getirdi: yeniden başlatılan sunucular, birikmiş tüm istemcilerin aynı anda yeniden bağlanmasıyla anında boğuldu — GeekWire'ın özetinin adını açıkça andığı klasik thundering herd deseni. Sorunu tek bir bölgeye hapsetmesi amaçlanan izolasyon da sızdı ve ön rapor bunun nedenini henüz açıklamıyor. Yükün büyük kısmını Exchange Online ve Outlook üstlendi; Teams, Copilot ve SharePoint de etkilendi. Morningstar DBRS sigortalı kayıpları 300 milyon ile 500 milyon dolar arasında tahmin ediyor. Microsoft'un nihai raporu 20 Kasım'da bekleniyor.
Tek router, ülke çapında etki
FAA olayı 13 Kasım'da Doğu Saatiyle öğleden sonra 3:30 ile 3:36 arasında başladı; kontrolörler radar ve telsiz akışlarında tutarsızlık fark etti. Saat 3:54'te kurum ülke çapında uçuş durdurma kararı aldı ve bunu yaklaşık 20:15'te kaldırdı. İstikrarsızlık, yüksek irtifa trafiğini yöneten 22 Hava Yolu Trafik Kontrol Merkezi'nden 17'sine ve birkaç yaklaşma tesisine ulaştı; FedScoop bunun 2001'den beri yalnızca ikinci ülke çapındaki durdurma olduğuna dikkat çekti.
Tetikleyici rutin bir altyapı çalışmasıydı. FAA'nın telekomünikasyon ağını işleten L3Harris, Arkansas'taki El Dorado tesisinde bakır devreleri fiber ile değiştiriyordu ve oraya yeni bir router kurdu; AeroTime'ın aktardığına göre eski bir Cisco cihazının yerine geçen bir Juniper ünitesi. Juniper'ın sahibi HPE, cihazın kurulumu yapanın yapılandırdığı şekilde tam olarak davrandığını söyledi. FAA'ya göre router, paylaşılan ağ üzerinden her dört-beş saniyede bir yaklaşık 1.000 bağlantı denemesi yayınlamaya başladı. Başka yerlerdeki eski ekipman bu seli absorbe edemedi ve çoğu en-route merkeze giden radar ve iletişim akışları bozuldu. Nedenin bir yanlış yapılandırma mı yoksa arızalı bir ünite mi olduğu henüz belirlenemedi.
Teşhis yavaş ilerledi. FAA Yöneticisi Bryan Bedford, kurumun uçuşları durdurmadan önce yaklaşık 45 dakika nedeni aradığını söyledi; FedScoop'ın aktardığına göre bunun nedeni kısmen bu tür bakımın elle, kâğıt üzerine kaydedilmesiydi. El Dorado'daki router'ın, ayrıca Teksas'taki Amarillo tesisindeki ikinci bir ünitenin izole edilmesi ağı stabilize etti; bunun üzerine FAA filodaki yaklaşık 60 benzer router'da şüpheli işlevi devre dışı bıraktı. FBI, router'ı bir saldırı kanıtı olarak değil önlem olarak L3Harris'te bir laboratuvarda inceliyor ve FAA'nın kök neden incelemesi sürüyor.
Neden önemli
dev.to analizinin her iki olayı da tek bir desene oturttuğu yerde: bir değişiklik bir tetikleyici getiriyor, bozulan kapasite veya paylaşılan bir ortam önkoşulu gizliyor ve sistemin kendi koruyucu içgüdüleri — failover ve yayılma — yükselteçe dönüşüyor. Önerilen savunmalar gösterişsiz: kapasite bilinçli olarak düşürülerek yük testi yapın, yalnızca hatalar yerine daralan headroom üzerine uyarı kurun, tüm yükü taşımak yerine yük atın, jitter'lı retry backoff kullanın, aranabilir değişiklik kayıtları tutun ve izolasyon sınırlarını gerçekten test edin. Her iki açıklama da hâlâ ön nitelikte, bu yüzden ayrıntılar değişebilir. Daha geniş ders ise her koşulda geçerli: bir sonraki kesinti genellikle başka bir şeyin zaten bozuk olduğu bir güne denk düşer ve bu savunmaları o günden önce kurmak, o gün sırasında kurmaktan çok daha ucuzdur.
- #microsoft-365
- #faa
- #outage
- #reliability
- #incident-analysis
İlgili yazılar
- United Airlines bir hafta içindeki ikinci büyük sistem arızasında tekrar kalkışları durdurdu
- Microsoft 365 kesintisi bir Alman otelindeki klor güvenlik uyarısını engelledi; ABD bankaları ise yeni kesintiler bildiriyor
- FBI FLASH duyurusu: Yapay zekâ destekli ARTEX, sızıpları üç saatin altında ayrıcalıklı erişime taşıyor