· kaynak dev.to (home feed)
AWS SageMaker inference router artık yapay zeka isteklerini bölgeler ve hesaplar arasında yedekliyor
Bölgeler arası inference yönlendirme artık SageMaker AI'da genel kullanıma açık. Router, Salesforce'un yedekleme testinde de görüldüğü gibi arızalar, throttle ve zaman aşımı durumlarında istekleri diğer AWS bölgelerindeki ve hesaplarındaki endpoint'lere yönlendiriyor.
Neler yayına alındı
AWS, 18 Kasım 2026'da SageMaker AI'da bölgeler arası inference yönlendirmeyi, servisin gerçek zamanlı inference çalıştırdığı tüm ticari bölgelerde genel kullanıma açtı. AWS Machine Learning Blog yazısının dev.to'daki özetine göre inference router, bölgesel bir AWS kaynağıdır; uygulamanın inference çağrılarını alır ve her isteği o model için kayıtlı endpoint'lerden birine iletir — ve bu endpoint'ler artık diğer bölgelerde ve diğer AWS hesaplarında bulunabiliyor.
Yayına alan ilk müşteri Salesforce'un Agentforce Foundation ekibi; bu ekip modelleri, otuzdan fazla küresel bölge ve yüzlerce hesap genelinde, isteğin kaynaklandığı bölgeden sunuyor. Özelliği motive eden ekonomik nedenler dev.io'nun aktardığı gibi basit: her müşterinin kendi yoğunluk penceresi var, bu pencereler çakışıyor ve birleşik yoğunluk için sağlama yapmak trafikçe gerekçelenenden daha pahalı, bölge başına sağlama ise bir yerde boşta bekleyen instance'lar bırakırken başka bir yerde yetersiz kalıyor.
Yönlendirme hedefi nasıl tanımlanır
Uygulamalar router'ı bir routing-target adıyla ve zaten InvokeEndpoint'e gönderdikleri gövde ile içerik türüsüyle çağırır. Bir routing target, örneğin bir classifier gibi tek bir mantıksal modeli adlandırır ve ona hizmet edebilecek endpoint'leri ile inference component'ları tam Amazon Resource Name ile listeler. Bir router model başına tek hedef tutar; böylece bir modelin hedeflerindeki sorun diğerlerini etkilemez ve bir hedef, tek modelli endpoint'leri inference component'larıyla karıştırabilir.
Hedefler ARN ile tanımlandığından ayrı bir hesapta yer alabilirler. Sahip olan hesap, router'ın hesabına endpoint'i çağırma izni veren, erişimi adı geçen tek bir router ile sınırlayan koşullu, resource-based bir policy ekler. Endpoint sahibi erişimi geri alma yetisini korur ve tüketici, hesabın tamamını kapsayan kimlik bilgilerine hiç ihtiyaç duymaz.
Router trafik ne zaman taşır, ne zaman taşımaz
Sağlık, son istek sonuçlarından judged edilir. Platform arızaları, model container'ından gelen 5xx yanıtları, throttle ve zaman aşımları bir hedefin puanını düşürür; arızalar sürdükçe router yeni isteklerin giderek büyüyen bölümünü başka yerlere gönderir — bu genellikle yaklaşık bir dakika içinde başlar, ancak az trafikli bir hedef için birkaç dakika sürebilir. Kurtarma sonrasında trafik ayrıldığından daha yavaş geri döner, bu da sistemin salınım yapmasını önler.
dev.to yazısına göre iki dışlama, tasarım niyetinin büyük bölümünü taşıyor. Geçersiz girdi gibi istemci hataları hiçbir şey taşımaz, çünkü aynı istek her yerde aynı şekilde başarısız olur. Model gecikmesi tek başına da hiçbir şey taşımaz, çünkü yavaş bir yanıt çoğu zaman endpoint sağlığından çok uzun bir prompt'u yansıtır. Hedefin modeli hiç çalıştırmadığı durumlarda — örneğin throttle edilen bir istekte — dokümantasyon router'ı başka bir hedefte tek bir yeniden denemeyle sınırlıyor.
Salesforce'un yedekleme testi neyi ölçtü
Salesforce iki konfigürasyon test etti: us-west-2 içinde aynı bölgeden yönlendirme ve us-west-2 router'ının ayrı bir altyapı hesabına ait us-east-2 endpoint'ini de listelediği çapraz hesaplı, çapraz bölgeli bir kurulum. Üretim trafiğini göndermeden önce ekip DescribeInferenceRouter'ı çağırdı ve iki hedefin de yönlendirilebilir durum bildirdiğini doğruladı.
Test yerel endpoint'i doygunluğa ulaştırdı ve ayrı bir sondayla izledi. Sondanın p50 gecikmesi yaklaşık beş dakika içinde 0,2 saniyeden 45 ila 58 saniye arasına çıktı, ancak trafik us-west-2'de kaldı; çünkü yavaş-ama-başarılı yanıtlar sağlıklı sayılıyor. İstekler model container'ının 60 saniyelik handler zaman aşımını aşıp hata döndürmeye başladığında router harekete geçti. İlk istekler hatalar başladıktan yaklaşık iki dakika sonra us-east-2'ye ulaştı ve bir dakika içinde sonda trafiğinin yaklaşık yüzde 78'i orada hizmet aldı. Kalan yüzde 20 ila 25'lik dilim yerelde kaldı; router'ın kurtarmayı algılaması için gereken istek sonuçlarını bunlar sağlıyor.
Kayma sonrasında p50 gecikmesi 0,2 saniyeye geri döndü ve bölgeler arası yol p50'de 100 milisaniyenin altında ek gecikme getirdi. Yerel endpoint kurtulduktan sonra trafik yaklaşık on dakikada kademeli olarak us-west-2'ye döndü ve sonda, yedekleme ve geri dönüş sırasında hiç hata kaydetmedi. Salesforce, yayını genişletmeden önce daha uzun bir doygunluk penceresi, milisaniye hassasiyetinde gecikme ölçümü ve trafik tavanındaki zincirleme davranışa daha yakından bir bakış planlıyor.
Gözlemlenebilirlik ve koruma önlemleri
Her yanıt, çağrılan kaynağın ARN'ini (InvokedRoutedResourceArn) ve bir yönlendirme gerekçesini taşır; ayrıca router hedef başına CloudWatch metrikleri yayımlar — böylece bir trafik kayması, ekibin sonradan açıklayabileceği bir şeye dönüşür. Bir CrossRegionTrafficConfig tavanı, endpoint başına gelen uzak trafiği sınırlayarak olay sırasında alan bölgenin aşırı yüklenmesini önler. Model dağıtımı ve kapasite platform ekibinin sorumluluğunda kalmaya devam eder: her bölge yine aynı artifact'lere ve kendi autoscaling payına ihtiyaç duyar.
Neden önemli
Inference için bölgeler arası yedekleme daha önce ekiplerin kendilerinin kurup işlettiği bir şeydi. Salesforce sağlık kontrolleri, yeniden denemeler ve bölge değiştirme mantığıyla kendi iç geçidini çalıştırıyordu, iki uçtan da kapasite sinyali almıyordu ve bölgeler arası trafiği NAT gateway üzerinden, genel ağdan dışarı itmek zorundaydı. Router, bunu yerleşik gözlemlenebilirlik ve gelen yedekleme trafiği için bir tavanla birlikte gelen, yönetilen ve policy ile sınırlandırılmış bir primitive ile değiştiriyor. Uyarılar gerçek: yavaş yanıtlar tek başına bir kayma tetiklemeyecek, kurtarma algılama bilinçli olarak trafiğin beşte birini sorunlu endpoint'te tutacak ve kapasite planlaması ortadan kaybolmayacak. Ancak bölgesel bir arızanın veya throttle fırtınasının kullanıcıya dönük hatalar olarak ortaya çıkacağı üretim yapay zeka iş yükleri için bu, bir kıyaslama iddiası değil pratik bir güvenilirlik özelliği.
- #aws
- #sagemaker
- #machine-learning
- #reliability
- #cloud