deniz.in

Piyasalar

Hava durumu

Hava durumu yükleniyor

· kaynak The Verge

Microsoft 365 ağ geçidindeki gizli hata, Teams failover'ı ve azalan kapasite günlük Outlook kesintisine yol açtı

Temmuzdan beri var olan uyku halindeki bir ağ hatası, bir Microsoft Teams failover'ı ve yaklaşık %14 kaybedilen kapasite, Exchange sunucularının %80'inden fazlasını devre dışı bırakarak Outlook kullanıcılarını neredeyse bir gün boyunca çevrimdışı bıraktı.

Microsoft 365 ağ geçidindeki gizli hata, Teams failover'ı ve azalan kapasite günlük Outlook kesintisine yol açtı

Kesinti nasıl gelişti

The Verge'nin içeriden yapılan aktarımına göre olay, geçen perşembe göründüğü kadar sıradan bir iş gününün başlamasından barely bir saat sonra, Outlook'u besleyen Exchange Online sunucuları İsviçre'de çevrimdışı kalmaya başladığında ortaya çıktı. Microsoft'un failover sistemleri e-posta trafiğini başka yerlere kaydırmaya çalıştı, ancak bu yalnızca hatayı yaydı — önce Meksika'ya, sonra dünyanın dört bir yanındaki ülkelere. Yaklaşık iki saat içinde Exchange sunucularının yüzde 80'inden fazlası yanıt vermez hale geldi ve çalışanlar, işletmeler ile birçok hükümet neredeyse 24 saat boyunca Outlook e-postasız kaldı.

The Verge, Microsoft'un olayı dahili olay takip sisteminde en yüksek önem derecesi olan "sev0" olarak kaydettiğini ve teşhis için yüzlerce mühendisin seferber edildiğini bildiriyor. Hizmeti normalde koruyan failover mekanizması, trafiği ardından onlar da çöken sunuculara yönlendirerek kesintiyi büyütmüş oldu.

Uyuyan bir hata trafik sıçramasıyla karşılaşınca

Olayın ilk saatlerinde mühendisler çökme raporlarını, trace loglarını ve kernel dümplarını inceledi. Bazı sunucular bakım moduna geçmiş, olağandışı derecede yüksek CPU yükü altında yanıt vermeyi bırakmıştı ve onları geri getirmek için yapılan her deneme, kuyrukta bekleyen trafik tarafından hemen eziliyordu. Exchange sunucuları işletim sistemlerini ağ üzerinden Preboot Execution Environment ile başlattığı için, yeniden başlatma dalgası onları izleyen sistemleri felç etti ve sunucuların sürekli geri dönmeyi deneyip başarısız olduğu bir döngü oluştu.

Microsoft olası bir saldırıyı da güncel bir teori olarak ele aldı; dışarıdaki gözlemciler siber saldırı ya da özensiz yapay zekâ tarafından üretilmiş kod spekülasyonu yaparken DDoS uzmanlarıyla iş birliği yaptı. The Verge'ye göre çökme raporları ve loglar bir saldırıyı dışladı.

Gerçek neden, Microsoft 365 ağ geçidi sunucularının ağ yığınındaki ve Temmuzdan beri görünür hiçbir etkisi olmayan gizli bir hataydı. Microsoft'un ön olay raporu bunu "dahili bir Windows süreci içindeki lock contention'a" bağlıyor. Hata özellikle bu ağ geçidi sunucuları için yazılmış bir düzeltmeden kaynaklandığından, Windows'un normal sürümleri etkilenmiyor.

Microsoft'un Copilot, Agents ve Platform organizasyonunu yöneten ve Ryan Roslansky'nin şirketten ayrılmasının ardından geçen ay Office, Outlook ve Teams mühendisliğini de denetlemeye başlayan Charles Lamanna, X'te "gizli bir kusurun belirli yük koşulları altında sunucuların bunaltılmasına ve yanıt vermez hale gelmesine neden olduğunu" yazdı.

Hatanın ortaya çıkmasını iki başka olay sağladı. Outlook kesintisi başlamadan on beş saat önce Microsoft Teams, alternatif bir ağ geçidinden Exchange Online'ı destekleyen ana ağ geçidine failover yaptı; bu da yükü yükseltip trafik desenlerini değiştirdi. Aynı zamanda, bir gün önceki ilgisiz bir sorun nedeniyle o ağ geçidinin sunucu kapasitesinin yaklaşık yüzde 14'ü hizmet dışıydı. Bu birleşim aylardır uyuyan bir hatayı tetikledi.

Microsoft ayrıca hatanın testlerinden kaçmasının bayağı bir nedeni olduğunu kabul ediyor: Contention, daha çok çekirdekli ve daha yeni donanımlı makinelerde kötüleşirken, yük testleri daha az çekirdekli, daha zayıf makinelerle yapılmıştı.

Kurtarma neden yaklaşık 24 saat sürdü

Lamanna hizmetin geri getirilmesinin alışılmadık derecede zor olduğunu kabul etti. "Kurtarma normalden uzun sürdü çünkü sunucular hizmete döndüklerinde beklemedeki trafik tarafından hemen bunaltılıyor ve yeniden yanıt vermez hale geliyorlardı" diye yazdı. Otomatik kurtarma süreçleri bu kadar geniş çaplı bir yanıt vermez durumdan hizmeti geri getirmek için tasarlanmamıştı ve hata aylar önce dağıtıldığı için normal rollback, flighting ve feature-flag araçları onu hızla geri alamadı.

The Verge'nin kaynakları, birden fazla ekibin üst üste binen müdahalelerinin koordinasyonu zaman zaman zorlaştırdığını ve kesintisiz süren köprü çağrısının bir ara 1.000 katılımcı üst sınırına ulaştığını ekliyor — bu da ABD'de trafik en yoğun saatte başlayan müdahaleye kaç ekibin dahil edildiğinin bir göstergesi. Microsoft, nihai olay sonrası incelemenin bu haftanın ilerleyen günlerinde yayımlanacağını söylüyor.

Neden önemli

Bu kesinti, hyperscale bir bulutta zincirleme başarısızlığın nadir ve ayrıntılı bir vaka çalışması ve öne çıkan üç ders var. Yedeklilik ters tepebilir: failover sistemleri tam olarak tasarlandıkları şeyi yaptılar ve yine de hatayı yaydılar. Testler üretim gerçekliğini kaçırabilir: daha zayıf donanımda görünmez olan bir hata, gerçek trafik altında daha yeni, çok çekirdekli sunucularda yıkıcı oldu. Ve kurtarma otomasyonunun sınırları var: aylar önce yapılan bir değişiklik yüzünden tüm filo karanlığa gömüldüğünde standart rollback araçları pek yardımcı olmuyor. Exchange Online üzerinde çalışan işletmeler ve hükümetler için bu olay, bulut hizmetleri için süreklilik planlamasının hâlâ önemli olduğu anımsatması — Microsoft için ise Microsoft 365'ün altyapısına yaptığı değişimleri nasıl test ettiği ve yayımladığı konusunda yeni bir baskı anlamına geliyor.

  • #microsoft-365
  • #outlook
  • #exchange-online
  • #cloud-outage
  • #post-incident-review