Vercel AI Gateway, Jev karar modeli için TypeSafe client ve HTTP API desteği ekledi

Vercel, AI Gateway'ine Jev desteği ekledi ve geliştiricilere modele ulaşmanın üç yolunu sundu: mevcut bir TypeSafe client üzerinden, düz bir HTTP endpoint üzerinden ya da AI SDK üzerinden. Vercel blog'una göre, bu yolların herhangi birinden yapılan istekler gateway üzerinden faturalandırılıyor ve diğer model trafiğinin yanında kullanım ve gözlemlenebilirlik görünümlerinde yer alıyor.

Jev ne yapıyor

Vercel, TypeSafe AI'ın bir modeli olan Jev'i "yazılım için olasılıksal bir karar modeli" olarak tanımlıyor. Çağıran tarafın ayrıştırması gereken serbest metin üretmek yerine, Jev bir durum tanımı ile tipli soruları kabul ediyor ve olasılık taşıyan yanıtlar döndürüyor. Üç soru tipi destekleniyor: boolean sorular 0 ile 1 arasında bir olasılık döndürüyor, choice soruları çağıran tarafın tanımladığı bir kümeden tek bir seçenek seçiyor ve score soruları çağıran tarafın belirlediği bir ölçeğe göre bir şeyi puanlıyor.

Vercel'ın yayımladığı örnek, hedeflenen kullanım senaryosunu gözler önüne seriyor: bir agent bir checkout hatasını düzelttikten ve testleri geçtikten sonra başka bir adım atıp atmayaceğine karar veriyor. Bugün agent geliştiricilerinin genellikle bir metin modeline prompt verip yanıtı kazıyarak çözdüğü türden bir kontrol döngüsü yargısı bu.

Üç giriş yolu

Halihazırda TypeSafe client çalıştıran ekipler için geçiş bilinçli olarak küçük tutulmuş. Vercel'a göre geçiş, client'ı gateway base URL'sine yönlendirmek ve bir gateway API anahtarı vermekten ibaret; mevcut systemOne çağrıları, noul soruları ve yanıt yapıları aynen kalıyor.

HTTP API, modeli herhangi bir dil veya framework'e açıyor. Çağıran taraf, model tanımlayıcısı typesafe-ai/jev, bir state dizgisi ve bir questions nesnesiyle /v1/evaluate endpoint'ine POST isteği gönderiyor, ardından tipli yanıtları response'tan okuyor.

TypeScript geliştiricileri ise AI SDK'yı kullanabilir; burada deneysel evaluate fonksiyonu aynı model tanımlayıcısını, state ve questions'ı kabul ediyor ve yanıtları olasılık alanlarına sahip tipli nesneler olarak döndürüyor.

Tek fatura, tek görünüm

Hangi yol kullanılırsa kullanılsın, faturalandırma AI Gateway üzerinden yürüyor. Vercel bunu pratik kazanç olarak sunuyor: Jev çağrıları kullanım raporlamasında ve gözlemlenebilirlikte diğer model çağrılarının yanında yer alıyor; böylece değerlendirme trafiği görünmez bir yan trafik olarak var olmak yerine, diğer herhangi bir inference gibi bütçelenebilir ve incelenebilir hale geliyor.

eve içindeki Jev

Jev ayrıca eve'ye de entegre edilmiş durumda; Vercel, eve'yi sandbox'lanmış hesaplama, insan onayı adımları ve içinde hazır gelen değerlendirme araçlarıyla agent'lar kurup dağıtmak için bir framework olarak tanımlıyor. Burada Jev varsayılan değerlendirme modeli olarak görev yapıyor ve otomatik model seçimi, tipli değerlendirmeler ile otomatik araç onaylarının arkasında duruyor.

Neden önemli

Bu ekleme AI Gateway'i metin üreten modellerin ötesine taşıyarak yapılandırılmış karar alma alanına açıyor; bu ilişkili ama farklı bir iş. Tipli ve olasılık taşıyan yanıtlar, metin modeli tabanlı agent kontrol döngülerini kırılganlaştıran ayrıştırma adımını ortadan kaldırıyor ve üç entegrasyon yolu eşiği düşük tutuyor: mevcut TypeSafe kullanıcıları için yalnızca bir URL ve anahtar değişikliği yeterli, HTTP endpoint ise modeli Vercel'ın yerel olarak paketlemediği stack'ler için erişilebilir kılıyor. Birleşik ölçümleme ve gözlemlenebilirlik sayesinde değerlendirme çağrıları artık sıradan inference gibi takip edilebilir ve hata ayıklanabilir hale geliyor. Production'da agent çalıştıran ekipler için bu birliktelik — öngörülebilir yanıt yapıları, dilden bağımsız erişim ve birleşik faturalandırma — değerlendirme mantığı prototipten production'a geçtiğinde ortaya çıkmaya meyilli operasyonel boşlukları hedefliyor.