OpenAI'ın Decisions API'si genel betaya açıldı: 10 kat daha hızlı tipli yanıtlar

OpenAI, geliştirici dokümantasyonuna göre Decisions API'sini genel betaya taşıdı; bu durum Hacker News'in ana sayfasında dikkat çekti. Yeni endpoint dar kapsamlı ama yüksek hacimli bir işe odaklanıyor: bir modelden metin üretmesi değil, bir yargı döndürmesi isteniyor. OpenAI, yanıtların genel amaçlı Responses API'sine kıyasla yaklaşık on kat daha hızlı geldiğini ve genel kullanımın birkaç hafta içinde geleceğini söylüyor.

Üç tür soru

Hizmet, adanmış bir POST /v1/decisions endpoint'inin arkasındaki tek bir model üzerinde çalışıyor: gpt-6-luna. Her istek bir model, ortak bir girdi — bir metin dizesi ya da metin ile görselleri harmanlayan kullanıcı mesajları — ve bir soru listesi taşıyor. Her sorunun açık bir türü var ve tam olarak üç tür mevcut.

Bir predicate sorusu bir koşulun geçerli olup olmadığını sorar ve 0 ile 1 arasında bir olasılık döndürür; dokümantasyondaki örnek bir ürün fotoğrafını çatlak, yırtık veya çentik açısından inceler ve bir eşiğe göre karşılanabilecek bir sayı geri alır. Bir choice sorusu, arayan tarafın sağladığı bir kümeden bir değer seçer — örneğin bir fatura şikayetini doğru departmana yönlendirme — ve seçilen değerin yanı sıra tüm seçenekler üzerinde bir olasılık dağılımı ve bir güven değeri döndürür. Bir score sorusu, girdiyi sıralı düzeylere göre derecelendirir — örneğin kozmetik, geçici çözüm mevcut, tamamen engelli — ve numaralı düzeylerin ağırlıklı ortalamasını döndürür; model kararsız kaldığında bu değer iki düzeyin arasında kalabilir.

Birbirinden bağımsız sorular tek bir isteği ve girdi üzerinden tek bir faturalandırılabilir geçişi paylaşabilir; farklı türler tek bir çağrıda karıştırılabilir. Önceki bir yanıta bağlı sorular ayrı istekler gerektirir: önce hasar olup olmadığını kontrol edin, gerekiyorsa yalnızca ondan sonra onarım kategorisini sınıflandırın.

Eşikler için tasarım

Yanıtlar bir dizi olarak gelir; her biri arayan tarafın atadığı bir isme bağlıdır. Choice ve score yanıtları seçenekler üzerinde tam dağılımı ayrı bir güven alanıyla birlikte sunduğundan, amaçlanan desen ikili güven değil eşik mühendisliğidir. OpenAI, kesim noktalarını kendi uygulamanızdan etiketli örneklerle kalibre etmenizi, yanlış pozitiflerin maliyetini yanlış negatiflere karşı tartmanızı ve eşleşmeyen girdilerin genel bir inceleme kuyruğuna akması için "diğer" gibi bir fallback seçeneği eklemenizi öneriyor.

Görsel kanıt destekleniyor, ancak yalnızca satır içi base64 veri URL'leri olarak — barındırılan HTTP görsel bağlantıları ve file_id referansları bu endpoint tarafından kabul edilmiyor.

Fiyatlandırma ve sınırlar

gpt-6-luna girdisi milyon token başına 0,10 dolardan faturalandırılır ve yalnızca girdi ücretlendirilir: çıktı token'ı yok, cache okuması yok, cache yazması yok. Bölgesel işleme primi ve uzun bağlam çarpanları hâlâ geçerli.

Dokümantasyon, API'nin ne zaman kullanılmayacağı konusunda da açık. Decisions, yanıtın bir olasılık, kategori veya sıralı bir derecelendirme olduğu durumlar içindir. Kendi JSON şemanıza uyan üretilmiş bir nesneye ihtiyaç duyduğunuzda — çıkarılan alanlar veya yazılı bir açıklama — OpenAI, Responses API'sindeki Structured Outputs'a işaret ediyor; modelin argümanlarla bir araç çağırması gerektiğinde ise function calling'a işaret ediyor.

Neden önemli

Üretimdeki LLM trafiğinin büyük bir kısmı, üretim kıyafeti giymiş bir sınıflandırmadır: destek taleplerini yönlendirme, hata raporlarını önceliklendirme, içerik denetimi, iş kuyruklarını sıralama. Bunu üretici bir endpoint üzerinden yapmak, çıktı token'ları için ödeme yapmak ve serbest metni geri etiketlere ayrıştırmak anlamına geliyor. Açık olasılıklar, seçimler ve puan ölçekleri bir büyüklük mertebesi daha hızlı döndüren, milyon token başına on sentlik yalnızca girdi faturalandırması sunan özel bir endpoint, ekonomiyi bir LLM yargıcını sıcak istek yollarına yerleştirecek kadar değiştiriyor — bir gönderi görüntülenmeden önce denetim, bir insan talebi görmeden önce yönlendirme.

Uyarılar gerçek: yalnızca tek model, barındırılan görsel girdisi yok ve genel kullanımdan önce fiyatlandırması ve davranışı değişebilecek bir beta etiketi. Ancak yayının şekli — tipli çıktılar, seçenek başına olasılıklar, güven değerleri, eşik rehberliği — OpenAI'nin artık "sınıflandırıcı olarak model"i bir prompt mühendisliği geçici çözümü değil birinci sınıf bir ürün olarak gördüğüne işaret ediyor ve bu, çıkarım altyapısının nereye gittiği için yararlı bir gösterge.