Vercel AI Gateway, GPT-6 Astra ve GPT-6.1 Sol için OpenAI Ultrafast katmanını ekledi

Ultrafast, Vercel'in AI Gateway hizmetine geliyor

Vercel, model istekleri için yönlendirme katmanı olan AI Gateway üzerinde OpenAI'nin Ultrafast servis katmanı desteğini ekledi. Vercel blogundaki bir changelog yazısına göre bu katman, çıktı hızının temel kısıt olduğu iş yüklerini hedefliyor: etkileşimli uygulamalar ve hızlı kodlama iterasyonları.

Lansman anında Ultrafast desteği iki modeli kapsıyor: GPT 6 Astra ve GPT 6.1 Sol.

Nasıl talep edilir

Geliştiriciler, Vercel'e göre bu katmanı openai/gpt-6-astra veya openai/gpt-6.1-sol model tanımlayıcıları üzerinden üç yoldan talep edebilir: AI SDK, Chat Completions API ve Responses API.

Sık araç çağrısı içeren iş akışları için OpenAI, turlar arasındaki yükü azalttığı için kalıcı bir WebSocket bağlantısı üzerinden Responses API'yi öneriyor. Changelog, kalıcı bağlantılar için Ultrafast servis katmanı örneklerine işaret ediyor; bunlardan biri AI SDK'yı WebSocket üzerinden çalıştırıyor.

Bölge desteği ve geri dönüş davranışı

Ultrafast, ABD ve global işlemeyi destekliyor. Vercel tarafından örnek olarak gösterilen AB gibi desteklenmeyen bölgelere sabitlenen istekler, bunun yerine standart varsayılan katmanda sunuluyor.

Bir istek servis katmanı belirtmediğinde standart işleme varsayılan olarak kalıyor; böylece mevcut Gateway trafiği, açıkça tercih edilmedikçe bu değişiklikten etkilenmiyor.

Altı kat standart oranda fiyatlandırma

Hız primi oldukça yüksek: Vercel changelog'una göre Ultrafast ile sunulan istekler, standart token başına ücretin altı katı üzerinden faturalandırılıyor. Bir istek başka bir katmana geri düşerse, isteği fiilen sunan katmanın oranı üzerinden faturalandırılıyor; dolayısıyla AB'ye sabitlenmiş bir istek, standart katman yanıtında Ultrafast oranıyla ücretlendirilmiyor.

Vercel, güncel oranlar için geliştiricileri GPT 6 Astra ve GPT 6.1 Sol model sayfalarına, ayrıca GPT-6 model ailesine ilişkin içeriğine yönlendiriyor.

Neden önemli

Sohbet arayüzleri, otomatik tamamlama ve model çağrıları ile araç yürütmesi arasında döngüye giren kodlama ajanları gibi gecikmeye duyarlı ürünler için üretme hızı, genellikle ham model yeteneği değil pratik darboğazdır. Mevcut bir gateway üzerinden daha hızlı bir servis katmanı sunmak, ekiplerin sağlayıcı entegrasyonlarını baştan yazmadan daha düşük gecikmeyi seçebilmeleri anlamına geliyor: model tanımlayıcıları, SDK'lar ve API'ler aynı kalıyor, katman ise istek başına seçiliyor.

Geri dönüş ve faturalandırma kuralları, ödünleşimleri öngörülebilir tutuyor. Bölgesel nedenlerle Ultrafast ile sunulamayan bir istek, hiçbir kazanç için prim ödemek yerine standart hızda ve standart maliyette çalışıyor. Bu öngörülebilirlik, performansı token başına bütçelerle dengeleyen ekipler için önemli; çünkü altı kat bir çarpan yalnızca hızın gerçekten ürünü değiştirdiği turlarda mantıklı.

Bölgesel ayrıntı ise başlıca uyarı. Ultrafast ABD ve global işlemeyi kapsıyor; bu yüzden AB'ye sabitlenen iş yükleri hızlanma görmüyor — bu da, bölge sabitlemeye zorlayan veri ikamet gereksinimleri olan kuruluşlar için dikkate alınması gereken bir nokta.

Son olarak, kalıcı WebSocket bağlantıları üzerinden Responses API etrafındaki yönlendirme, bunun gerçekten kimi hedeflediğini gösteriyor: tur başına yükün modelin kendi üretim süresiyle boy ölçüşebildiği, sık araç çağrılı ajanik kodlama iş akışları. Bu iş yükleri için Vercel'in AI Gateway'i artık OpenAI'nin en hızlı katmanına, maliyeti net biçimde eklenmiş şekilde doğrudan bir yol sunuyor.