GitHub, Azure Central US kapasitesi iki katına çıkarken ekim ayında sekiz olay bildirdi

Ekim ayı boyunca sekiz olay

GitHub, ekim 2026 kullanılabilirlik raporunu yayımladı ve hizmetlerinde performans düşüşüne yol açan sekiz olayı açıkladı. GitHub Blog'da yazan şirket, karşıtlıklarla dolu bir ayı anlattı: Azure Central US'te önemli bir kapasite artışı ve bir dizi hedeflenen güvenilirlik düzeltmesi; buna karşılık 7 Ekim'deki yazma kesintileri GitHub'ın veritabanı orkestrasyonu ile üretim yönlendirmesi arasındaki tehlikeli bağı ve veri geçişleri sırasındaki izleme boşluklarını ortaya çıkardı; 29 Ekim'deki Azure ağ kesintisi ise üç Central US availability zone'unu ve en az 34.128 oturum açmış kullanıcıyı etkiledi.

Kısmi bir ağ arızası Actions kuyruklarını durdurdu

Ayrıntılı olarak incelenen ilk olay 5 Ekim'de saat 19:11 UTC'de başladı ve yaklaşık üç saat 45 dakika sürdü. Rapora göre kullanıcılar, GitHub-hosted runner'lardaki Actions işlerinin normalden çok daha uzun süre kuyrukta beklediğini, bazı workflow çalışmalarının ise hiç başlamadığını gördü. En kötü 90 dakikalık dilimde, hosted runner'lardaki işlerin çoğu başlamak için beş dakikadan uzun süre bekledi. Self-hosted runner'lar etkilenmedi. Actions üzerinden derlenen GitHub Pages siteleri yavaş güncellendi; ancak önceden yayımlanmış siteler hizmet vermeye devam etti ve bazı müştereler repository listelerinde, lisans ve faturalandırma sayfalarında ile belirli Copilot özelliklerinde hatalarla karşılaştı.

Sorunun nedeni, bulut sağlayıcısındaki kısmi bir ağ arızasıydı; bu arıza, GitHub'ın veri merkezi bölgelerinden biriyle, işleri runner'lara atayan servisin arkasındaki bulutta barındırılan veritabanları arasındaki bağlantıları bozdu. Servis, hemen hata döndürmek yerine çağrıların zaman aşımını bekledi; biriken istekler belleğini tüketti ve yeniden başlatmaya zorladı. İşler daha sonra, atama servisinde yedek kapasite bulunmayan sağlıklı bir bölgeye kaydı ve orada da başarısız olmaya başladı; dakikalarca iş almayan runner'lar ise kapandı ve yenilerinin devreye girmesi yavaş oldu.

Kurtarma süreci, etkilenen veritabanlarının ve depolamanın aynı anda tek tek başka bir bölgeye alınmasını, kapasite eklenmesini ve ağ sorununun çözülmesi için bulut sağlayıcısıyla iş birliğini kapsıyordu. Sonrasındaki çalışmalar arasında iş atamasının ani yüklere karşı daha dayanıklı hale getirilmesi, kapasite düşükken müşteri profiline göre runner atamasının önceliklendirilmesi, toparlanmayı kısaltmak için runner davranışının değiştirilmesi ve kısmi ağ arızalarının daha hızlı tespit edilmesi yer alıyor.

Geçiş patlaması paylaşımlı bir veritabanını tüketti

Ertesi gün, 6 Ekim'de saat 19:57 UTC'de, GitHub Enterprise Importer etkinliğindeki bir artış, çok büyük sorgulardan oluşan bir dalgayı paylaşımlı bir veritabanına gönderdi ve yaklaşık altı dakika boyunca kullanılabilir tüm bağlantıları tüketti. En yoğun anda tüm isteklerin yaklaşık yüzde 1,3'ü başarısız oldu ya da zaman aşımına uğradı ve yaklaşık 6.400 kuruluş en az bir hatayla karşılaştı; oturum açma, repository'ler, pull request'ler, API ve Codespaces etkilendi. Düzeltme yayımlanana kadar kurumsal geçişler yaklaşık üç buçuk saat duraklatıldı. Azaltıcı önlemler arasında sabit boyutlu sorgular, veritabanı baskı altındayken importer'ın otomatik geri çekilmesi ve yeni veritabanı uyarıları yer alıyor.

Kapasite, düzeltmelerle birlikte büyümeye devam ediyor

GitHub'ın bildirdiğine göre 9 Kasım itibarıyla 151 üretim servisinin 140'ı ve 50 MySQL primary'nin 32'si Azure Central US'te çalışıyordu; Azure, geçirilmiş servis okumalarının yüzde 63'ünü, monolith okumalarının yüzde 66'sını ve Git okumalarının yüzde 52'sini karşılıyordu. Dokuz Central US Kubernetes cluster'ının tamamında yapılan compute genişletmesi kapasiteyi iki kattan fazla artırdı ve geçirilmiş servis trafiği marttan bu yana yüzde 82 büyüdü; bu artış, orijinal veri merkezini önceki çalışma aralığının ötesine itmek yerine yeni bölge tarafından emildi.

Diğer değişiklikler arasında kullanımı yüzde 85 azaltan bir NAT-gateway iyileştirmesi yer aldı; değişiklik sırasında dört üretim işi başarısız oldu, oysa aksi halde yaklaşık 800 işin başarısız olması bekleniyordu. Günde 250 milyondan fazla isteği işleyen bir Actions endpoint'i daha verimli bir servis yoluna taşındı ve yoğun veritabanı okumalarını yüzde 85 azalttı. Repository topic'lerinde arama yapmadan önce en az üç karakter gerekliliği, bu kalıptaki yavaş ya da sonlandırılan sorguları yaklaşık yüzde 98 azalttı.

East US 3 kurulumu planın yaklaşık bir haftası kadar geride; ilk doğrulanmış trafik yükselişi aralık ayının ilk haftasına planlandı ve geçiş güvenliği, bağımlılık izolasyonu ile bölgesel kurtarma çalışmaları sürüyor. GitHub, önce kullanılabilirliğe, sonra kapasiteye ve ondan sonra özelliklere öncelik verdiğini yineliyor.

Neden önemli

GitHub, yazılım endüstrisinin büyük bir bölümü için fiilen varsayılan kaynak kontrol ve CI platformu; bu yüzden Actions kuyruklama bozulduğunda binlerce kuruluşta derlemeler duruyor. Rapor ayrıca büyük bir bulut geçişinin operasyonel gerçeğini gözler önüne seriyor: kapasite geliyor, ancak bazı olaylar eski ve yeni ortamlar arasındaki etkileşimlerden, örneğin paylaşımlı veritabanları, bölgeler arası failover ve bulut tarafındaki ağ arızalarından kaynaklandı. GitHub üzerinde inşa yapan herkes bu ayı, güvenilirliğinin giderek artan ölçüde Azure'ye bağlı olduğunun ve geçiş döneminin gerçek, ölçülebilir bir risk taşıdığının kanıtı olarak okumalı.