TypeSafe AI'nin Jev'i, tipli olasılıksal kararları Vercel'ın AI Gateway'ine getiriyor

Vercel bloguna göre, TypeSafe AI'ın geliştirdiği olasılıksal karar modeli Jev artık Vercel'ın AI Gateway'i üzerinden erişilebilir. Jev, uygulamanın ayrıştırıp doğrulaması gereken bir metin üretmek yerine, girdi olarak bir state alıyor ve olasılıklarıyla birlikte tipli Choice, Score ve Boolean yanıtları döndürüyor.

Metin üreticisi yerine karar modeli

Vercel blogu farkı şöyle açıklıyor: sıradan dil modelleri metni bir seferde bir token üretiyor ve bu çıktıyı ayrıştırmak, doğrulamak ve ona göre hareket etmek çağıran uygulamanın görevi kalıyor. Jev ise tanımlanan tüm soruları paralel olarak değerlendirip doğrudan tipli yanıtlar döndürüyor; bloga göre bu, gereksiz metin üretimini ortadan kaldırıyor, net vakaların otomatikleştirilmesini sağlıyor ve belirsiz olanların incelemeye yönlendirilmesini kolaylaştırıyor.

Önerilen kullanım senaryoları arasında bir agent döngüsünde sıradaki aracın ya da subagent'ın seçilmesi; devam etme, yeniden deneme, kullanıcıya sorma ya da durma kararları; bir eylemden önce aciliyet veya risk puanlaması; ve guardrail'leri zorlamak için model çıktılarının doğrulanması yer alıyor.

Satıcının bildirdiği performans rakamları

TypeSafe, Jev'in kendi iş akışı değerlendirmelerinde LLM'lerden 193.6 kata kadar daha hızlı ve 444.6 kata kadar daha ucuz olduğunu bildiriyor. Bunlar satıcının kendi iş yükleri üzerindeki kendi kıyaslamaları ve "kadar" ifadesi, tipik sonuçların daha düşük olabileceği anlamına geliyor; blog bağımsız bir karşılaştırma sunmuyor.

AI SDK 7'deki deneysel evaluate API'si üzerinden erişim

Jev, AI SDK 7'deki deneysel evaluate API'si üzerinden sunuluyor ve destek 7.0.105 sürümüyle geliyor. Üç soru tipi mevcut: Choice seçenekler arasından seçim yapıyor, Score sıralı bir rubrik'e göre puanlama yapıyor ve Boolean ise bir ifadenin doğru olma olasılığını tahmin ediyor.

Her değerlendirme; çağrılacak modeli (Gateway üzerinde typesafe-ai/jev), değerlendirilecek state'i — paylaşılan bir string, object ya da array — ve bu state'e dair adlandırılmış sorulardan oluşan bir map'i tanımlıyor. Vercel'ın örnek çalışması, bir destek etkileşiminin tek satırlık özetini, iade yapılıp yapılmadığını soran tek bir Boolean sorusuna besliyor ve yanıtı result.answers.refunded üzerinden okuyor.

Yanıtlar soru kimliklerini ve Choice anahtarlarını koruyor; TypeSafe, Choice ve Score yanıtları için ayrı güven değerlerini result.providerMetadata.typesafe.confidence üzerinden sağlıyor. Blog, üretim kararlarında bunlara güvenmeden önce hem olasılıkların hem de güven değerlerinin kendi iş akışınızdan etiketli örneklerle kalibre edilmesini öneriyor.

Veri işleme ve Gateway entegrasyonu

Jev, Zero Data Retention ve No Training modlarını destekliyor; bunlar provider seçeneklerinde istek başına etkinleştiriliyor. Değerlendirme çağrıları Gateway loglarında ve özel raporlamada görünüyor, bütçelere dahil ediliyor ve diğer Gateway sağlayıcılarıyla kullanılan aynı providerOptions.gateway ayarlarını kabul ediyor; böylece ekipler Jev'i yeni araçlar olmadan mevcut harcama ve denetim kurulumlarına yerleştirebiliyor.

Neden önemli

Modern agent uygulamalarındaki altyapının önemli bir kısmı, modelin metin çıktısı ile programın gerçekten ihtiyaç duyduğu kararlar arasındaki boşluğu köprülemek için var: structured-output prompt'ları, parser'lar, doğrulayıcılar ve yeniden deneme mantığı. Olasılıklarla birlikte tipli kararlar döndürmek üzere tasarlanmış bir model sınıfı, bu köprüyü — en azından aksi halde tam LLM çağrıları tüketebilecek yönlendirme ve geçiş adımları için — ortadan kaldırıyor.

Ekonomi de önemli. Agent döngüleri çok sayıda küçük ve sık karar veriyor ve her biri için standart LLM fiyatları ödemek hızla birikiyor; bildirilen maliyet profiline sahip, amaca yönelik tasarlanmış bir karar modeli, daha uzun ve daha özerk döngüleri uygulanabilir kılabilir. Uyarılar gerçek — API açıkça deneysel, performans rakamları satıcıdan geliyor ve olasılıklar hâlâ gerçek etiketli verilere karşı kalibrasyon gerektiriyor — ama büyük bir gateway üzerinde karar modellerinin ayrı bir kategori olarak ortaya çıkışı, her şeyi tek bir genel amaçlı modelden geçirmek yerine model tiplerini görevlere eşleştiren agent mimarilerine işaret ediyor.