· kaynak Vercel blog
Vercel'in AI Gateway'ine self-hosted modeller için Private Inference ve Seedance 2.5 Flash video modeli eklendi
Vercel'in AI Gateway'i artık self-hosted ve fine-tune edilmiş modelleri katalogundaki modellerle aynı kimlik doğrulama ve gözlemlenebilirlik üzerinden yönlendirebiliyor; ByteDance'in daha hızlı ve daha ucuz Seedance 2.5 Flash video modeli de kadroya katıldı.

Vercel, model API'leri için yönlendirme katmanı olan AI Gateway'de iki değişiklik yayınladı. Private Inference, kuruluşların kendi model endpoint'lerini gateway'e bağlayıp katalog modelleri gibi yönetmesini sağlarken, ByteDance'in Seedance 2.5 Flash adlı video üretim modelinin daha hızlı ve daha ucuz bir versiyonu artık gateway kullanıcılarının kullanımına sunuldu. Her iki duyuru da Vercel'in changelog'unda yer aldı.
Self-hosted modeller gateway'e katılıyor
Vercel'e göre, fine-tune edilmiş, self-hosted veya prerelease modeller çalıştıran kuruluşlar, bu modelleri hosted modellerle birlikte kullanmak için ayrı kimlik bilgileri, özel istemci kodu ve kendi loglama sistemleriyle uğraşmak zorundaydı. Private Inference bu ayrımı ortadan kaldırıyor: Bir ekibin kendi endpoint'leri artık gateway'in paylaşılan kimlik doğrulaması, SDK'ları ve API'lerinin arkasında yer alıyor ve trafiği diğer her şeyle aynı gözlemlenebilirlik araçlarına düşüyor.
Format dönüşümü gateway'in kendisi tarafından hallediliyor. Chat Completions, Responses veya Messages arayüzleri üzerinden yapılan çağrılar, hedef endpoint'in beklediği biçime dönüştürülüyor; bu da bir uygulamayı private model ile katalog modeli arasında değiştirmenin model ID'sini değiştirmeye indirgendiği anlamına geliyor.
Özellik ayrıca erişim kontrolünü de kapsıyor. Private modeller yalnızca bunları kaydeden Vercel ekibi tarafından görülebilir ve asla genel katalogda görünmez; saklanan kimlik bilgileri şifrelenir ve sağlayıcı bazında Zero Data Retention açılabilir. Gateway'e bağlı kodlama ajanları — Vercel bunlara Claude Code, Codex ve Cursor'u dahil ediyor — private modelleri diğer modeller gibi kullanabilir. İstek logları, trace'ler ve özel raporlar, private trafiği katalog trafiğinin yanında kapsıyor; grafikler istekleri, token sayılarını ve ilk tokena kadar geçen süreyi private model bazında ayrıştırıyor. Yöneticiler ayrıca bir private endpoint başarısız olursa yedek olarak bir katalog modeli yapılandırabilir.
Private provider kaydetmek
Kurulum ya dashboard'daki Private Inference sayfasından ya da Vercel CLI 65.16.0 ve üzeri sürümler üzerinden yapılıyor. Bir yönetici, bir endpoint'i private provider olarak kaydederken base URL'sini verir, API formatını seçer, kimlik bilgilerini ekler ve ardından sunduğu modelleri listeler. Uygulamalar bu modelleri private/ ad alanı altındaki ID'ler üzerinden çağırır; Vercel'in gönderisindeki CLI örneği, fine-tune edilmiş bir modeli sunan self-hosted bir vLLM endpoint'ini kuruyor. Desteklenen model türleri, gereksinimler ve faturalandırma ayrıntıları dokümantasyonda yer alıyor.
Seedance 2.5 Flash katalogda
İkinci gönderide Vercel, ByteDance'in Seedance 2.5 Flash'ın AI Gateway üzerinden kullanılabilir olduğunu doğruladı. Model, Seedance 2.5'in hız ve maliyet için optimize edilmiş bir versiyonu olarak konumlandırılıyor; Vercel, kalitenin insan gerçekçiliği, referans tabanlı düzenleme ve prompt'a uygunluk açısından standart modelle aynı seviyede olduğunu söylüyor.
Model, metin prompt'larından ya da görsel, video ve ses referanslarından senkronize sesli video üretiyor. Klipler yatay, kare ya da dikey en boy oranlarında, 720p'ye kadar ve saniyede 24 kare ile dört ila 30 saniye uzunluğunda oluyor. Mevcut videolar düzenlenebiliyor veya uzatılabiliyor ve bir üretimin ilk ve son karesini sabitlemek için sabit görseller sağlanabiliyor.
Geliştiriciler modeli AI SDK 7 ile bytedance/seedance-2.5-flash olarak çağırıyor. Referans materyal, inputReferences üzerinden URL olarak iletiliyor ve prompt içinde [Image 1], [Video 1] gibi adresleniyor. Vercel ayrıca modeli değerlendirenler için model playground'una ve bir video üretimi hızlı başlangıç kılavuzuna işaret ediyor.
Neden önemli
Her iki güncelleme de aynı sonuca yöneliyor: AI Gateway'in, bir kuruluşun dokunduğu her model için, o model nerede çalışırsa çalışsın tek kontrol düzlemi olması. Private Inference, stratejik olarak ikisinin de ağır basanı. Kendi donanımında fine-tune edilmiş veya açık ağırlıklı modeller çalıştıran kuruluşların, bunları ticari API'lerle birleştirmek için paralel bir anahtar, istemci ve loglama yığınına artık ihtiyacı yok; bu süreçte gateway'in ajan desteğini, model bazlı metriklerini ve yedek yönlendirmesini de miras alıyorlar. Seedance 2.5 Flash ise artık tanıdık gelen flash kademe modeli desenini videoya taşıyor: daha düşük maliyet ve gecikmeyle amiral gemisine yakın çıktı, ses senkronlu üretilmiş videoyu çok daha geniş bir ürün yelpazesi için uygulanabilir kılıyor. Vercel'in araçlarına zaten standardize olmuş ekipler için hiçbir değişiklik yeni entegrasyon işi gerektirmiyordu; yalnızca yapılandırma yeterliydi.
- #vercel
- #ai-gateway
- #ai-inference
- #video-generation
- #bytedance