AWS Bedrock, Moonshot'un Kimi K3 modeli için Hindistan'a özel inference profile ekledi

Bedrock'a Hindistan'a özel inference geldi

dev.to'da yer alan bir paylaşıma göre AWS, Amazon Bedrock üzerindeki Kimi K3 için ülke içi inference ekledi; böylece modele yapılan isteklerin tamamı Hindistan içinde işlenebiliyor. Kimi K3, Moonshot AI tarafından geliştirilen, kodlama ve genel agentic görevlerde yayınlandığı bildirildiği üzere frontier düzeyde performans gösteren çok modlu, açık ağırlıklı bir model.

Farklı garanti sunan iki profil

Bedrock, modeli bölgeler arası (cross-Region) inference profilleri üzerinden sunuyor: uygulama bir kaynak Region'dan çağrıda bulunur ve Bedrock isteği bir hedef Region'a yönlendirir; çağrıdaki profile ID'si hangi hedeflerin uygun olduğunu belirler. İki seçenek var. AWS'nin çoğu iş yükü için önerdiği global profil, global.moonshotai.kimi-k3, en ucuz ve en yaygın seçenek. Hindistan coğrafi profili, in.moonshotai.kimi-k3, işlemeyi Mumbai ve Hyderabad Region'ları içinde tutuyor; veri ikameti kurallarına tabi iş yükleri için önemli olan özellik bu.

AWS, Region'lar arasında hareket eden trafiğin şifrelendiğini ve kendi ağı üzerinde kaldığını belirtiyor; dolayısıyla müşterilerin çok bölgeli VPC altyapısına ihtiyacı yok. Model kartı, hangi kaynak Region'ların hangi profili çağırabileceğini belgeliyor.

IAM ve denetimler için ne değişiyor

dev.to gönderisi, kaynak Region olarak Mumbai örneğini adım adım inceliyor ve modele her iki Hindistan Region'ında da izin veren bir IAM politikası gösteriyor. Hangi AWS Region'larının kullanılabileceğini kısıtlayan kuruluşların, kaynak Region'a izin vermeye devam etmesi ve her iki Hindistan hedefine yönlendirmeye izin vermesi gerekiyor; gönderi tam bu durum için profile kapsamlı bir istisnaya işaret ediyor. API tarafında modele OpenAI uyumlu Chat Completions ve Responses uç noktaları ile Bedrock'un Converse ve InvokeModel işlemleri üzerinden erişilebiliyor.

Uyumluluk incelemeleri için önemli bir ayrıntı şu: metrikler ve loglar, isteğin hangi hedef tarafından işlendiğinden bağımsız olarak isteğin yapıldığı kaynak Region'da saklanıyor. CloudTrail veri olayları hedef Region'ı kaydedebiliyor; bu da inference'ın gerçekten ülke içinde kaldığını göstermeye yardımcı oluyor.

Demonstrasyon olarak belge işleme

Profili eylem halinde göstermek için AWS taranmış bir Hintçe elektrik faturası kullanıyor. Model görüntüyü doğrudan okuyor, alanları bir şemaya göre JSON biçiminde çıkarıyor, İngilizce bir özet üretiyor ve ayrı bir OCR ya da çeviri adımı olmadan takip sorularını Hinglish dilinde yanıtlıyor. AWS, müşterilere çıkarma kalitesini kendi belgeleriyle test etmelerini ve kritik iş akışları için doğrulama ya da insan incelemesi eklemelerini öneriyor.

Fiyatlandırma seçenekleri

Gecikmeye toleranslı iş yükleri için flex servis katmanı standart fiyatta yüzde 50 indirim sunarken, priority katmanı ek ücrete tabi. Prompt caching, örtük ya da açık olsun, tekrarlanan prompt öneklerini indirimli fiyatlandırıyor. dev.to gönderisi, AWS'nin Hindistan profilinin global profilden farklı fiyatlanıp fiyatlanmadığını söylemediğini belirtiyor; dolayısıyla ekipler eşit fiyat varsayımından önce fiyatlandırma sayfasını kontrol etmeli.

AWS ayrıca sağlık asistanı günde 14.000'den fazla görüşme yürüten Ultrahuman'dan alıntı yapıyor. Şirket, prompt caching sayesinde LLM maliyetlerinde yüzde 80 düşüş ve çok turlu görüşmelerde yüzde 85 hızlanma bildiriyor; bu rakamlar bağımsız olarak kıyaslanmamış, müşteri tarafından bildirilmiş değerler.

Neden önemli

Hindistan'daki veri koruma beklentileri giderek sadece depolamanın değil, işlemenin de ülke içinde yapılmasını gerektiriyor ve bu, regüle kuruluşların orada hangi modelleri kullanabileceğini sınırladı. Coğrafi bir inference profile, ikamet uyumluluğunu özel bir mimari projesinden çıkıp bir yönlendirme yapılandırmasına dönüştürüyor; log davranışı ise denetçilere inference'ın nerede çalıştığına dair kanıt sunuyor. Demo seçimi de anlamlı: Hintçe bir belgeyi okuyup Hinglish ile konuşan çok modlu bir model, çevrilmiş Batılı kullanım senaryoları değil, gerçek Hint kurumsal iş yüklerini hedefliyor. Açık soru maliyet: Hindistan profili ek ücret taşıyorsa kuruluşlar fiilen uyumluluk için ekstra ödeme yapmış olacak ve bu ödünleşimi belirleyecek olan fiyatlandırma sayfası.