deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak dev.to (home feed)

Microsoft 365 kesintisi 30 saat sürdü; sağlık kontrolleri Exchange filosunu tüketti

Microsoft'un kendi olay kaydına göre Kasım ayındaki Microsoft 365 kesintisi 30 saat 5 dakika sürdü; gizli kalmış bir ağ hatası, sağlık kontrollerinin Exchange sunucularını toparlanabildiklerinden daha hızlı devreden çıkarmasına yol açtı.

Microsoft 365 kesintisi 30 saat sürdü; sağlık kontrolleri Exchange filosunu tüketti

Ne oldu ve ne kadar sürdü

Microsoft'un kendi olay kaydına bakılırsa Microsoft 365 tam 30 saat 5 dakika boyunca kesintideydi. Microsoft'un durum sayfalarından zaman çizelgesini yeniden oluşturan bir dev.to analizi, etki penceresini 12 Kasım Perşembe günü saat 10:05 UTC'den 13 Kasım Cuma günü 16:10 UTC'ye kadar uzanıyor olarak veriyor ve haber başlıklarındaki rakamın çoğunlukla kimin saydığına ve ne zaman durduğuna bağlı olduğunu belirtiyor. The Guardian kabaca 18 saat bildirdi, WIRED 24 saat dedi ve Microsoft'un güncellemelerini aktaran bir üniversite durum sayfası 33 saat 50 dakika ölçtü. Aynı kaydı okuyan GeekWire ise olayı yaklaşık 30 saat olarak niteledi.

Fark büyük ölçüde başlangıç saatinden kaynaklanıyor. Microsoft'un ilk yönetici bildirimi Perşembe günü 16:17 UTC'de gönderildi, ardından 18:26 UTC'de daha geniş kapsamlı bir bildirim geldi; ancak kayıt, etkinin başlangıcını o sabah 10:05'e, yani herkes haberdar edilmeden altı saat öncesine tarihlendiriyor. İlk toparlanma belirtilerine kadar saymak 18 saat veriyor; Cumartesi günü 04:17 UTC'de, mail birikimi temizlendikten sonra gelen nihai tümü tamam sinyaline kadar saymak ise kabaca 42 saat veriyor. Mail kutularının yaklaşık 16:20 UTC'de açılmamaya başlamasından ölçüm yapan ikinci bir dev.to analizi ise süreyi 24 saatin biraz altında veriyor; yani kaynaklar esas olarak saatin nerede başladığı konusunda anlaşamıyor.

Microsoft olayı iki ayrı olay olarak yürüttü: Exchange Online için EX1550543 ve ona bağlı hizmetler — Teams, SharePoint Online, Copilot, Defender XDR, Intune, Power BI ve dahası — için MO1550821; toplamda 15'ten fazla hizmet etkilendi. Aynı öğleden sonra 14:45 ile 15:53 UTC arasında ayrı, daha kısa bir Teams olayı yaşandı; Microsoft ikisini birbirine bağlamadı. Downdetector, Perşembe günü Doğu saatiyle öğleden hemen sonra 1 sivilık civarında 74 ülke ve bölgeden yaklaşık 130.000 Outlook bildirimi saydı; etkilenenler arasında hastaneler, havayolları, devlet daireleri ve demiryolu işletmecileri vardı.

Bir sağlık kontrolü sistemi nasıl çökertti

Dev.to zaman çizelgesinde alıntılanan ön açıklamaya göre olay, "daha önce yapılan bir ağ kapasite yükseltmesi sırasında ortaya çıkan ve yakın tarihteki bir ağ değişikliğinin ardından yüzeye çıkan bir sorundan" kaynaklandı — güvenli bağlantılar kuran sistemlerdeki gizli kalmış bir hata. Şirket bunun bir siber saldırı olmadığını ve yapay zekâ araçlarıyla bir ilgisi bulunmadığını söyledi.

Robert Paschal imzalı diğer dev.to analizi mekanizmayı yeniden kuruyor. Exchange sunucuları gerçekten güvenli bağlantı kuramıyordu; bu yüzden otomatik sağlık kontrolleri hatayı doğru şekilde bildirdi ve yük dengeleyiciler sunucuları devreden çıkardı. Ama bozuk bağımlılık paylaşımlıydı: tüm sunucular aynı anda aynı kontrolü geçemedi ve yük dengeleyici, "bu sunucu bozuk" ile "bu sunucunun bağımlı olduğu şey bozuk" durumlarını ayırt edemediği için tüm filoyu boşalttı. Çıkardığı her sunucu, bağlantılarını zaten kapasitesi azalmış sunucuların üstüne yıktı; yeniden başlatılan sunucular ise trafiği geri aldıkları an kontrolleri yine geçemedi. İstemci yeniden denemeleri, ayakta kalan her şeyin üstüne ek yük bindirdi. Microsoft'tan Charles Lamanna, X hesabından "ağ çevremizdeki basamaklı arızalar + sürü etkisinin" toparlanmayı normalden zorlaştırdığını söyledi. Microsoft ayrıca geciken maillerin yumuşak bir şekilde yeniden denenmeye devam etmesi için e-posta zaman aşımı penceresini 48 saate çıkardı; böylece mailler geri dönmek yerine bekleyecekti.

İkinci derecedeki mağdurlar

Anthropic'in durum sayfası, Claude'un mail, takvim ve dosyaları okumasını sağlayan bağlantı olan Microsoft 365 connector için kendi olayını kayda geçirdi: Perşembe 16:03 UTC'den Cuma 16:40 UTC'ye kadar — 24 saat 37 dakika. Mail, takvim ve arama hataları, Microsoft'un kendi etki penceresi kapandıktan sonra da bildirilmeye devam etti; bağımlı bir hizmet, bağımlı olduğu şeyden daha yavaş toparlandı. Anthropic'in Cuma öğleden sonra yaşadığı ve zaman çizelgesinin yazarının ayrı tuttuğu, ilgisi olmayan bir performans düşüklüğü daha vardı.

Yalnızca e-postayla çalışan güvenlik alarmı

En tuhaf dalga laneti: Almanya'nın Brühl kentindeki Phantasialand tema parkındaki Ling Buan Otel'de, arızalı bir otomatik klor dozaj sistemi Cuma öğleden sonra bir havuzun klorunu fazla dozladı. On beş kişi triyajdan geçti ve itfaiyenin sayımına göre dördü hastaneye kaldırıldı; bir Alman gazetesi ise sayıyı beş verdi. Notebookcheck'in aktardığına göre parkın WDR yayıncısına verdiği bilgiye göre sauna alanının bakım güvenlik sistemi alarmını yalnızca e-postayla çaldı ve Exchange kapalı olduğu için uyarı hiç ulaşmadı. İtfaiye sızıntıyı dozaj sistemi arızasına bağlıyor, yetkililer kesintiyle bağlantıyı henüz doğrulamadı ve soruşturma sürüyor.

Neden önemli

Bu, yanlış-negatif sağlık kontrolünün bir vaka çalışması: uç noktanın bir sunucunun işini yapamadığını doğru bildirdiği, ama bunu aynı anda tüm filo boyunca yaptığı, çünkü bozuk bağımlılığın paylaşımlı olduğu arıza modu. Yük dengeleyici yalnızca başarısız kontrollerden oluşan bir duvar görür ve belki bazı isteklere hizmet edebilecek sunucuları boşaltarak kesintiyi büyütür. Yapısal çözümler biliniyor: paylaşımlı bağımlılıkları, yük dengeleyicinin sunucu boşaltmak için kullanmadığı bir uç noktadan yoklayın; yalnızca tek bir bağımlılığa erişilemediğinde tamamen çökmek yerine zarif biçimde yükseltin; yeniden denemelere geri çekilmeli ve sınırlı bir bütçe verin. Zamanlama analizi de diğer dersi ekliyor: etki, ilk yönetici bildiriminden altı saat önce başladı ve akış yönündeki sistemler — yalnızca bir e-posta olarak var olan bir havuz güvenlik alarmı dahil — kendi takvimlerinde değil, e-postanın takviminde toparlandı. Teslim garantisi olmayan bir store-and-forward sistemine binen her kritik güvenlik işlevi, o sistemin en kötü gününü miras alır.

  • #cloud
  • #microsoft-365
  • #outage
  • #incident-analysis
  • #exchange-online

İlgili yazılar