Vercel, AI Gateway üzerinde yeniden dağıtım gerektirmeyen model geçişi için Virtual Models'ü duyurdu

Vercel, AI Gateway üzerinde Virtual Models'ü başlattı; bu soyutlama, uygulama kodundaki model dizisini istekleri fiilen karşılayan model ve yapılandırmadan ayırıyor. Vercel'in lansman yazısına göre bir virtual model, vmc/coding-agent gibi özel bir kimlikle eşleştirilmiş kayıtlı bir yapılandırma. Uygulamalar ve agent'lar bu kimliği çağırıyor; ekipler ise temeldeki modeli değiştirebiliyor, fallback'leri ayarlayabiliyor ve saklama kurallarını AI Gateway içinde uygulayabiliyor — her çağırıcı değişikliği birkaç dakika içinde, kod değişikliği veya dağıtım olmadan devralıyor.

Lansman belirli bir sorunu hedefliyor: model karmaşası. Vercel'e göre son 90 günde 10'dan fazla laboratuvardan 125 yeni model AI Gateway'e eklendi; haftada kabaca on model. Gateway, geçişi zaten tek satır kod düzenlemesine indirgemişti, ama bu satır kod tabanında yaşadığı için bir geçiş hâlâ genellikle yeniden dağıtım anlamına geliyordu. Virtual Models bu kararı uygulamadan tamamen çıkarıyor.

Ekipler bunları nasıl kullanıyor

Virtual model'ler ekip panosundan veya Vercel CLI ile oluşturuluyor; bir komut, slug'ı, temeldeki modeli ve fast mode ile Zero Data Retention gibi seçenekleri kapsayan bir yapılandırma bloğunu adlandırıyor. Kimlik daha sonra AI SDK isteklerinde ve OpenAI ile Anthropic uyumlu API'lerde sağlayıcı model dizisinin yerini alıyor. Claude Code ve Codex gibi kodlama agent'ları Vercel CLI kurulum akışıyla bağlanıyor ve model seçiciden bir virtual model seçiyor.

Vercel'in changelog kaydı ikinci bir faydayı vurguluyor: ilgili agent harness'in ortaya çıkarmadığı seçenekleri açığa çıkarmak. Reasoning effort, fast mode ve prompt caching, çağıran agent bunları yapılandırma yolu sunmasa bile virtual model üzerinde ayarlanabiliyor.

Her görev, iş yüküne uygun bir virtual model'e sahip olabilir — destek talebi eleme gibi yüksek hacimli ve maliyete duyarlı bir iş ucuz bir modeli gösterebilirken, düşük hacimli sözleşme inceleme görevi ağır bir reasoning modeli kullanabilir. Fallback'ler, Zero Data Retention ve tag'ler gibi ayarlar, virtual model'in arkasındaki model değiştiğinde korunur; ancak Vercel, sağlayıcıya özgü seçeneklerin korunmadığı konusunda uyarıyor: yalnızca Anthropic'e ait bir ayar, virtual model bir OpenAI modelini gösterdiğinde artık uygulanmaz; dolayısıyla her geçişte sağlayıcı seçenekleri gözden geçirilmelidir.

Üretim trafiği için Vercel bir aday deseni öneriyor: ikinci bir virtual model'i yeni modele yönlendirin, ona karşı değerlendirmeler çalıştırın ve kalite düşerse orijinali önceki modele geri çevirin.

Merkezi yönetişim ve harcama takibi

Virtual model'ler aynı zamanda bir yönetişim aracı. Ekip rolleri hangilerinin düzenlenebileceğini belirliyor; platform ve güvenlik ekipleri modelleri merkezden test edip onaylarken diğer herkes onları kimlikle tüketiyor. Virtual model üzerindeki ayarlar, istekteki aynı ayarlara göre önceliklidir; dolayısıyla çağıranlar merkezden seçilen sağlayıcı sırasını, fallback zincirini veya servis katmanını geçersiz kılamaz. Uyum aynı şekilde çalışır: Zero Data Retention gerektiren bir virtual model veya istek verileriyle eğitmeyen sağlayıcılar, bir istek bunları devre dışı bırakmaya çalışsa bile bu gereksinimleri korur.

Bir virtual model'e eklenen tag'ler, istekle gönderilen tag'lerin yerini alır; böylece harcama, tek tek uygulamaların çağrılarını nasıl etiketlediğinden bağımsız olarak göreve atanır. Virtual Models sayfası görev başına istek sayısını, harcamayı ve başarı oranını raporlar.

Neden önemli

Model seçimi, en az geliştirme kararı kadar operasyonel bir karar haline geldi. Haftalık yeni model çıkışıyla, model dizilerini koda gömen ekipler yalnızca ayak uydurmak için — ya da bir sağlayıcı kötüleştiğinde tepki vermek için — bir düzenleme, yeniden dağıtım ve inceleme dönü durdurma makinesiyle karşı karşıya. Model tanımlayıcısını merkezden yönetilen bir kaynağa dönüştürerek Vercel, yönlendirmeyi, hatayı devretmeyi ve uyumu uygulama kodundan çok altyapı yapılandırmasına yaklaştırıyor; platform ekiplerine yönetişim ve maliyet için bir kontrol noktası verirken uygulama ekiplerine sabit bir kimlik sağlıyor. Bedeli ek dolaylılık: runtime davranışı artık kod tabanı dışındaki yapılandırmaya bağlı ve bu da Vercel'in önerdiği değerlendirme ve geri alma pratiklerini zorunlu kılıyor. Virtual model'ler gateway'deki her model türünde çalışıyor — image, video, speech, embedding ve realtime — ve Vercel, kendi anahtarınızı getirin istekleri dahil olmak üzere inference üzerinde hiçbir kâr marjı veya platform ücreti uygulamıyor.