Perplexity'nin Decider V1.2 modelleri Vercel'in AI Gateway servisine geldi

Perplexity'nin Decider modelleri Vercel'in AI Gateway servisine geldi

Vercel, Perplexity'nin karar odaklı iki modelini, barındırılan yapay zeka modellerini tek bir anahtarla çağırmaya yarayan servisi AI Gateway'e ekledi. Vercel'in changelog kaydına göre Decider V1.2 27B ve daha küçük olan Decider Flash V1.2 4B artık gateway üzerinden erişilebilir durumda.

Decider ailesi genel amaçlı bir sohbet modeli değil. Vercel bu ikiliyi, içerikleri sınıflandırmak, istekleri doğru hedefe yönlendirmek ve metin, yapılandırılmış kayıtlar veya görseler olabilen girdileri puanlamak üzere tasarlanmış çok modlu karar modelleri olarak tanımlıyor.

Tipli sorular, olasılıksal yanıtlar

Temel mekanizma şu şekilde işliyor: modeller tipli sorular alıyor ve olasılıklar döndürüyor. Changelog, soru tiplerini üçe ayırıyor:

• Boolean sorular, evet yanıtı olasılığını döndürür.

• Choice sorular, geliştiricinin önceden tanımladığı kategoriler arasından seçim yapar.

• Score sorular, içeriği sıralı bir ölçüte göre puanlar.

Yanıtlar tipli ve sayısal olduğu için bir uygulama bunlara doğrudan harekete geçebilir — bir destek talebini doğru kuyruğa yönlendirmek, bir fotoğraftan hasarlı ürünü işaretlemek veya düşük güvenilirlikteki bir kararı insan incelemesine göndermek gibi. Aynı istek içinde aynı girdiye karşı birden fazla soru da değerlendirilebiliyor; böylece tek bir belge hakkında birden çok yargıya ihtiyaç duyan bir uygulama tekrarlanan gidiş-dönüşler için ödeme yapmıyor.

Görseller de destekleniyor: geliştiriciler AI SDK veya TypeSafe uyumlu API üzerinden JSON state içine base64 image_url nesneleri gömüyor; istek biçimleri ve soru tipleri ise Perplexity'nin kendi dokümantasyonunda yer alıyor.

İki boy, iki tür iş için

perplexity/pplx-decider-v1.2 olarak sunulan Decider V1.2 27B, ikisinin daha büyüğü. Vercel bu modeli ince ayrımlı çağrılar ve ayrıntılı puanlama ölçütleri — değerlendirmenin kendisinin incelik gerektirdiği durumlar — için konumlandırıyor.

Decider Flash V1.2 4B (perplexity/pplx-decider-flash-v1.2) ise kompakt kardeşi; ölçütlerin net ve hacmin yüksek olduğu toplu etiketleme, filtreleme ve yönlendirme işleri için hedeflenmiş. Bu profil, her istekte veya her kullanıcı üretimi içerik parçasında tetiklenme eğiliminde olan, model boyutunun ve gecikmenin hızla biriktiği iş türüdür.

Her iki model de Vercel'in model playground'unda denenebiliyor; changelog ise aynı teslimat raporu denetimini üç yoldan ele alıyor: AI SDK, Perplexity'nin Decisions API'si ve TypeSafe uyumlu API üzerinden.

Gateway entegrasyonu ve faturalandırma

AI Gateway'in vaadi konsolidasyon — tüm katalog için tek anahtar, kullanım ve harcama tek bir görünümde. Vercel, karar isteklerinin gateway'in istek günlüklerine düştüğünü ve harcama bütçelerine sayıldığını belirtiyor; böylece yönlendirme ve sınıflandırma trafiği, projenin diğer model çağrılarıyla aynı gözlemlenebilirlik hattında görünüyor.

Maliyet konusunda şirket, çıkarımın (inference) sağlayıcının kendi oranlarıyla ve üzerine hiçbir şey eklenmeden faturalandırıldığını, müşteriler BYOK ile kendi sağlayıcı kimlik bilgilerini bağladığında da aynı koşulların geçerli olduğunu söylüyor.

Neden önemli

Dil modellerinin üretime girmesinin büyük bir kısmı görünmez biçimde kararsaldir: bu talep eskalasyon gerektiriyor mu, bu görsel kabul edilebilir mi, bu sorguyu hangi model ele almalı. Bugün bu iş genellikle genel amaçlı bir sohbet modeline prompt verilerek ve serbest metin olarak dönen yanıtın ayrıştırılmasıyla yapılıyor — işleyebilir ama kırılgan. Tipli sorular ve olasılık çıktılarıyla özel olarak tasarlanmış karar modelleri daha temiz bir sözleşme sunuyor: eşik değerleri doğrudan yönlendirme mantığına denk geliyor ve bozulabilecek bir geçici ayrıştırma katmanı kalmıyor.

Zaten Vercel'in gateway'inden geçen ekipler için bu ekleme, sınıflandırma ve yönlendirme kararlarının model trafiğinin geri kalanıyla aynı anahtarlı, günlüklü ve bütçeli hatta yaşayabilmesi anlamına geliyor. Sağlayıcı fiyatlandırması değiştirilmeden geçirildiği için buradaki değer operasyonel; bir kâr marjı hamlesi değil.

İki boyutlu ayrım da bu iş yüklerinin pratikteki davranışıyla örtüşüyor: nüansın kendini amorti ettiği yerlerde ağır yargılama, diğer her yerde ucuz ve hızlı filtreleme. Geliştiriciler artık bu yelpazenin iki ucuna da tek bir arayüzün arkasından erişiyor — tabii modeller bu konumlandırmanın hakkını verirse.