Vercel AI Gateway, düşük güvenli yapay zeka kararlarını fallback modellere yönlendiriyor

Ne değişti

Vercel, yapay zeka model trafiği için yönlendirme katmanı olan AI Gateway'e güven tabanlı karar fallback'leri ekledi. Vercel blog'una göre gateway, artık birincil modelden dönen yanıt geliştiricinin tanımladığı bir güven kontrolünü geçemediğinde — örneğin belirli bir soruda güven puanının 0,6'nın altında kalması — karar isteğini bir fallback modele devredebiliyor.

Şimdiye kadar gateway'deki fallback'ler hata güvenlik ağları olarak çalışıyordu: birkaç model listeliyorsunuz ve biri tamamen başarısız olursa trafik sıradaki girdiye geçiyor. Vercel bu davranışın değişmediğini söylüyor — models listesindeki düz model adları hâlâ sert hataları yakalıyor. Yeni koşullu nesneler farklı bir soruna hedef alıyor: başarıyla gelen ama üzerinde harekete geçilemeyecek kadar belirsiz yanıtları.

Koşullar nasıl çalışıyor

Güven koşulları Choice ve Score sorularını kapsarken, Boolean soruları bunun yerine bir olasılık aralığında yükseltme yapıyor. Koşullar ayrıca birleştirilebiliyor; böylece tek bir yükseltme, istek yeniden yönlendirilmeden önce birden fazla sinyale bağlı olabilir.

İki düzeyde kapsamlandırma mevcut. Koşulda belirli bir soru adı belirtirseniz yalnızca o soru kontrol edilir. Soru alanını boş bırakırsanız koşul, eşleşen türdeki her soruya uygulanır — Vercel, çıplak bir 0,6 eşiğinin herhangi bir Choice veya Score yanıtı altına düştüğünde hemen yükseltme yaptığını belirtiyor.

Yapılandırma

Özellik, providerOptions.gateway.models içinde istek başına yapılandırılıyor. Her girdi, bir fallback modeli koşulu tanımlayan bir "when" nesnesiyle eşleştiriyor:

{ "gateway": { "models": [ { "model": "openai/gpt-6-astra", "when": { "question": "intent", "confidenceBelow": 0.6 } } ] } }

Koşullu nesneyi içermeyen istekler tam olarak önceki gibi davranıyor; bu da özelliği isteğe bağlı (opt-in) hale getiriyor ve kademeli olarak güvenle yayınlamayı mümkün kılıyor.

Maliyetler ve uyarılar

Dikkat çekilmesi gereken bir faturalandırma sonucu var. Bir eşik tetiklendiğinde gateway, fallback modelde ikinci bir karar çalıştırıyor ve her iki aşama da faturalandırılıyor. Yüksek hacimli sistemleri çalıştıran ekipler bu yüzden eşikleri dikkatli ayarlamak isteyecek: çok yüksek belirlenmiş bir kesim noktası özelliği neredeyse sürekli bir çift harcamaya dönüştürürken, çok düşük ayarlanan nadiren tetikleniyor. Vercel ayrıca karar fallback'lerini beta özelliği olarak listeliyor.

Neden önemli

Sert hatalar zaten model listeleri tarafından ele alınıyordu. Üretim ortamındaki yapay zeka boru hatlarının eksik olduğu şey, çıktının kalitesine dayalı bir yönlendirme politikasıydı. Düşük güvenli yanıtlar sessiz bir başarısızlık biçimidir: sistem yanıt verir, boru hattı devam eder ve zayıf karar ancak daha sonra ortaya çıkar. Geliştiricilerin yalnızca belirsiz trafik dilimini daha güçlü veya farklı şekilde ayarlanmış bir modele yükseltmesine izin vererek Vercel, yeniden mimari gerektirmeyen bir güvenilirlik kolu sunuyor — istekte yalnızca bir ekstra nesne gerekiyor. Niyet tespiti, sınıflandırma veya moderasyon gibi karar ağırlıklı iş yükleri için bu, doğrudan sallanan model çıktılarına dayanarak alınan eylemlerin azalmasına dönüşebilir.