deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak Hacker News – Front Page (native)

Microsoft, Kasım'daki Exchange Online kesintisinin nedenini Temmuz'daki bir düzeltmede ortaya çıkan yazılım hatasına bağlıyor

Microsoft'un ön olay raporuna göre, Microsoft 365 gateway sunucularına Temmuz'da yapılan bir güncelleme, sunucuların yüzde 80'inden fazlasını yanıt vermez hale getiren gizli bir kusur taşıyordu.

Microsoft, Kasım'daki Exchange Online kesintisinin nedenini Temmuz'daki bir düzeltmede ortaya çıkan yazılım hatasına bağlıyor

Temmuz'daki güncellemeden gelen gizli bir kusur

The Register'ın haberine göre Microsoft, geçen haftaki büyük Microsoft 365 e-posta kesintisini, Temmuz 2026'da yayımladığı bir güncellemenin ortaya çıkardığı bir yazılım kusuruna bağladı. 15 Kasım'da yayımlanan ön olay raporunda şirket, güncellemenin Microsoft 365 hizmetlerinin önünde yer alan ağ gateway sunucularını hedeflediğini, yük testlerinden başarıyla geçtiğini ve o dönemde görünür bir etki yaratmadan dağıtıldığını belirtti.

Microsoft'un kabul ettiğine göre sorun, yük testlerinin daha az CPU çekirdekli, düşük donanım özellikli makinelere odaklanmasıydı. Kusur, Windows'un dahili bir sürecinde lock contention'a yol açarak makinenin CPU ve belleğini tüketiyor; bu çekişme de daha fazla çekirdeğe ve daha yeni donanıma sahip sunucularda, yani tam olarak üretim gateway filosunu oluşturan makinelerde daha da kötüleşiyordu.

Sıradan görünen iki olayın üst üste binmesi

Kusur 12 Kasım'a kadar uykuda kaldı. O gün 01.07 UTC'de Teams, Exchange Online'a hizmet veren birincil gateway'e fail over gerçekleştirerek Microsoft'un tek başına alışılmadık olmadığını söylediği bir yük artışı yarattı. Aynı anda gateway'in sunucu kapasitesinin yaklaşık yüzde 14'ü hizmet dışıydı. Microsoft, bu kapasitenin zaten geri getirilmekte olduğunu ve hizmetin hâlâ yeterli paya sahip olduğunu belirtti.

Bu iki durum birlikte gateway'i kusurun tetikledi. Sonrasında ders kitabından fırlamış gibi bir zincirleme çöküş yaşandı: bir sunucu yanıt vermeyi bırakıyor, trafik sıradaki sağlıklı uca kayıyor, o uç da aynı kaynak tükenmesine yakalanıp devriliyor ve döngü tekrarlanıyordu. İki saat içinde kusur filonun tamamında tetiklenmiş ve en düşük noktada gateway sunucularının yüzde 80'inden fazlası yanıt vermez durumdaydı.

Exchange Online neden en büyük darbeyi aldı

Microsoft, Teams, OneDrive, SharePoint ve Office uygulamaları gibi hizmetlerin hatalı gateway altyapısından uzaklaşabildiğini söyledi. Exchange Online ise ölçek nedeniyle bunu yapamadı ve Outlook kullanıcıları bu yüzden en uzun kesintiyi yaşadı.

Yamanın yaması

Kurtarma işlemi zorladı. Yanıt vermeyen sunucuları geri getirmek, yalnızca bunların yeniden ezilip tekrar çökmesine yol açtı; Microsoft'un otomatik kurtarma süreçleri de böyle geniş çaplı bir yanıtsızlık durumundan hizmeti geri getirmek için tasarlanmamıştı. Temiz bir geri alma (rollback) ise söz konusu değildi, çünkü kusurlu değişiklik aylardır üretimde çalışıyordu. Bunun yerine mühendisler, etkilenen Windows kod yolunu bilinen önceki sağlam durumuna geri getiren yeni bir güncelleme hazırladı ve hizmet yavaş yavaş geri gelene kadar bunu sunuculara gruplar hâlinde uyguladı.

Rapordaki zaman çizelgesi bunun ne kadar sürdüğünü gösteriyor. Microsoft'un bağlantı anormallik algılama sistemi 12 Kasım 04.03'te (16.03 UTC değil, 16.03 UTC) artan hataları işaretledi — düzeltme: saat UTC olarak 16.03 — ve ilk destek talebi 16.33 UTC'de geldi. Yaklaşık sonraki on beş saat boyunca ekip, devam eden ve planlanan tüm dağıtım ve yapılandırma değişikliklerini durdurdu, kapasite ekledi ve trafiği yeniden yönlendirdi; ama başarı elde edilemedi. 13 Kasım 00.30 UTC'de bağlantı müzakeresini başarısız işlem olarak tespit ettiler; rekip süreçler bağlantıların işlenmesini engelliyordu. Azaltıcı önlem 07.20 UTC'de tespit edilip uygulandı, hizmetin sağlıklı olduğu 16.10 UTC'de doğrulandı ve son müşteri güncellemesi 14 Kasım 04.15 UTC'de gönderildi. Nihai olay raporu 20 Kasım'da bekleniyor.

Neden önemli

The Register'ın da vurguladığı gibi, bu olayın rahatsız edici yanı, aylarca uykuda kalan bir değişikliğin küresel bir kesintiye yol açmasının nedeninin, kısmen yük testinin tamamen Microsoft'un kendi kontrolündeki donanım senaryolarını yansıtmaması olması. Exchange Online'a bağımlı kuruluşlar için bu, tek bir gizli kusurun, sıradan bir yük kaymasıyla ve rutin bir kapasite açığıyla birleştiğinde hyperscale bir bulutta hem kapasite planlamasını hem de otomatik kurtarmayı alt edebileceğinin bir hatırlatması. Kusurlu değişiklik geri alınamayacak kadar eski olduğunda ise kurtarma, rutin bir operasyon olmaktan çıkıp doğaçlama bir mühendislik çabasına dönüşüyor — bu kesintiyi de tam olarak iki güne yaylayan şey buydu.

  • #microsoft-365
  • #exchange-online
  • #outage
  • #cloud
  • #reliability

İlgili yazılar