OpenAI, Decisions API'sini tüm müşterilere açtı; TypeSafe ile karar modeli yarışı kızışıyor

TechCrunch'ın haberine göre OpenAI, Decisions API'sini ilk kez tüm müşterilerinin kullanımına açtı ve böylece hızla büyüyen karar modeli pazarına resmen giriş yaptı: büyük bir dil modelinin maliyetinin çok küçük bir bölümüyle hızlı seçimler yapan hafif sistemler.

Bir rakibin inşa ettiği kategori

OpenAI'nin girdiği pazarı büyük ölçüde TypeSafe şekillendirdi; şirket, TechCrunch'ın haberine göre şu anda 7,6 milyar dolar değerinde olan, öncü bir yapay zeka laboratuvarının eski araştırmacısı tarafından kurulmuş bir girişim. Jev modeli, bazen süper sınıflandırıcılar veya System One modelleri olarak adlandırılan yeni bir derin öğrenme sistemi sınıfını yaygınlaştırdı: kendilerine bir dizi seçenek sunulduğunda birini seçip bir güven skoru ekliyorlar. Geliştiriciler, bu modellerin pek çok iş akışında LLM'lerin yerine geçebildiğini, aynı zamanda daha hızlı yanıt verdiğini ve çarpıcı biçimde daha düşük maliyetle çalıştığını gördü.

OpenAI'nin API'lerinden sorumlu ürün lideri Nikunj Handa, TechCrunch'a verdiği demeçte Jev'i görmesinin meslektaşlarını bu yaklaşımın sayısız potansiyel uygulaması olduğu sonucuna götürdüğünü söyledi. OpenAI, amaca özel bir karar modeli eğitmek yerine ChatGPT Luna'yı alıp çıkarımı hızlandıracak ve maliyeti düşürecek şekilde yeniden yapılandırdı. Handa, en büyük kazanımın gecikme süresi olduğunu, yanıtların LLM çağrılarında tipik olan bir-üç saniyelik aralıktan kabaca 100 ila 180 milisaniyeye indiğini ve daha özel bir eğitimin ileride gelebileceğini belirtti.

Neler sunuldu

API, OpenAI'nin 29 Eylül'deki geliştirici gününde duyuruldu ve TechCrunch'ın haberine göre Perşembe günü tüm müşterilerin kullanımına açıldı. Genel sürüm ses ve görsel modallıkları ekliyor ve OpenAI, dünyanın çeşitli bölgelerinde gecikmeyi düşük tutmak için çıkarım kaynaklarını coğrafi olarak konumlandırdı.

İlk denemelerde Box, Datadog, Ramp ve Speak mühendisleri, verimliliğin önemli olduğu yerlerde OpenAI'nin LLM'lerinin yerine bu API'yi kullandılar. Dil öğretimi şirketi Speak'in teknik direktörü Andrew Hsu, TechCrunch'a verdiği demeçte bu değişikliğin eylemler arasındaki süreyi 1,4 saniyeden 0,13 saniyeye indirdiğini söyledi. OpenAI ayrıca ürünü şirket içinde, Dots sesli asistanını daha duyarlı hale getirmek için kullandı.

Kalabalık bir alan, belirsiz kıyaslamalar

İyi bir karar modelinin ne olduğu hâlâ netleşmiş değil; zira zekâ, maliyet, kalibrasyon ve hız arasındaki ödünleşimlerin iş yüküne göre deştiği görünüyor. TypeSafe CEO'su Diogo Almeida kıyaslama sonuçlarına güvenmiyor ve alıcılara modelleri kendi görevlerinde test etmelerini salık veriyor; ancak TechCrunch, TypeSafe'in en son Jev sürümünün yanına — bu sürüm görüntü desteği ve akıllı if (smart-if) ifadeleri ekledi — kendi sıralamasını da yayımladığını not ediyor.

AIM System One Index ve Artificial Analysis Decision Index gibi halka açık liderlik tabloları şu anda Liquid'in yeni karar modeli D1 Ultra ile Base Lab'ın Elephant-1'ini öne çıkarıyor. En yeni Jev bu iki endekste yedinci ve üçüncü sırada yer alırken, OpenAI'nin girişi sekizinci ve on dördüncü sırada. TechCrunch'ın haberine göre TypeSafe'in modelleri OpenRouter'da hâlâ en çok sorgulananlar.

Bir de Opper AI'dan JevMan var: bu kıyaslamada karar modelleri Pac-Man oynuyor; oyun, kesintisiz bir hızlı ve yüksek Riskli seçim akışı gerektiriyor ve en son Jev bu sıralamada zirvede. Opper'ın büyümeden sorumlu yöneticisi Felix Wunderlich, TechCrunch'a verdiği demeçte oyunun yararlı bir test olmasının nedeninin, her kavşığın birkaç yüz milisaniye içinde karar vermeye zorlaması olduğunu söyledi.

OpenAI avantajı nerede görüyor

Handa, çoklu modallığı olası bir avantaj olarak gösterdi; TechCrunch'a Luna'nın görüntü sınıflandırmada güçlü performans gösterdiğini ve kalibrasyonunun burada daha iyi olduğunu, müşterilerin ayrıca API'nin çıktı olarak görüntü üretme konusunda daha esnek olmasını istediğini söyledi. Daha hızlı bir gelecek de çizdi: çağrı başına kabaca 60 milisaniyede, dedi, bir API isteği bir videonun her karesinde çalışabilir.

Neden önemli

OpenAI'nin pazarına girmesi, karar modellerin girişim merakından ana akım altyapıya geçtiğine dair şimdiye kadarki en güçlü sinyal. Tek bir şirketin icat ettiği bir kategori, sektörün en büyük sağlayıcısını cezbedecek kadar değerli hale geldi ve OpenAI'nin mevcut bir modeli yeniden kullanma yaklaşımı, köklü oyuncuların yeni bir nişi ne kadar hızlı metalaştırabileceğini gösteriyor. Geliştiriciler için asıl hikâye ekonomi: saniyeler süren LLM çağrılarını milisaniye ölçeğindeki kararlara dönüştürmek, sesli asistanlardan agent'lara ve kare başına video işlemeye kadar gerçek zamanlı ürünlerde neyin pratik olduğunu değiştiriyor. Kaynağa göre burada Jevons tarzı bir dinamik de iş başında: bir kaynağın kullanımını ucuzlatmak onu genellikle çok daha yaygın hale getiriyor ve Handa, gözden kaçan ama aslında ortada duran uygulamaların sayısının artmasını bekliyor. Kıyaslamalar liderlerde anlaşamadığı için alıcılar, bu modelleri tek bir sıralamaya güvenmek yerine kendi iş yüklerinde değerlendirmek zorunda kalacak.