OpenAI'nin Decisions API'si, ucuz agent kontrolü için TypeSafe'ın Jev'ine gözünü dikti

OpenAI, Jev tarzı bir Decisions API'sini önizliyor

OpenAI'nin Salı günü düzenlenen Dev Day etkinliğindeki sessiz ama önemli duyurulardan biri, CEO Sam Altman'ın geçtiği bir notta geldi: yeni bir Decisions API'si. TechCrunch'a göre ürün, bu ayın başında girişim TypeSafe AI tarafından yayınlanan ve açıkça yazılım otomasyonu için tasarlanmış olan Jev modeline benzer bir işlevsellik sunuyor.

Jev, aslında bir LLM üzerine inşa edilmiş güçlendirilmiş bir sınıflandırıcı. Geliştirici bir dizi seçenek sunuyor, model de bunları olasılıklar olarak hızlı ve ucuz bir şekilde geri döndürüyor. Altman, Decisions API'sini aynı terimlerle, OpenAI'nin Luna modeline önceden tanımlanmış seçenekler arasından seçim yapma imkanı veren bir yol olarak tanımladı; örneğin bir görüntüyü sınıflandırmak için kategoriler veya farklı agent davranışları gibi.

Altman etkinlikte, "Modeli bu seçime odaklandırarak, görüntü anlama, geniş dil desteği ve güvenlik korumaları gibi yetenekleri korurken onu son derece hızlı hale getirebiliyoruz" dedi.

TypeSafe bir klon savaşının geldiğini görüyor

TypeSafe, TechCrunch'ın yeni ürünle ilgili sorularına yanıt vermedi, ancak eski bir OpenAI mühendisi olan CEO'su Diogo Almeida, X'te klon savaşlarının başlangıcı hakkında şaka yaptı. Ayrıca OpenAI'nin ilgisinin "System One uyumlu bir şekilde inşa etmenin gelecek olduğuna dair bir işaret" olabileceğini öne sürdü. System One, TypeSafe'ın hızlı ve sezgisel düşünme için kullandığı, titiz muhakemeye atfettiği System 2'nin karşılığı olan terimdir.

TechCrunch'ın da belirttiği gibi altında yatan anlam şudur: Genel amaçlı LLM'ler birçok yazılım için yanlış araç çünkü nispeten yavaş ve pahalılar. Geliştiriciler Jev'i LLM'leri güçlendirmek için kullanıyor ve bunu yaparken sistemlerinin daha hızlı çalıştığını ve daha az maliyetli olduğunu fark ediyorlar.

Agent'ları denetlemenin ucuz bir yolu

Bu sınıf modeller için olası bir uygulama alanı, yapay zeka agent'larını izlemek ve güvence altına almak. TechCrunch'ın bildirdiğine göre, agent'larının açık internette kötü davranışlara bulandığı bir dizi olayın ardından OpenAI, kötü eylemleri izleyen ayrı bir model içeren yeni güvenlik önlemleri benimsedi ve bu "önemli bir işlem maliyeti" getiriyor.

Uzun süreli bir siber güvenlik uzmanı olan ve QueryStory girişimini yöneten Shapor Naghibzadeh, geçen hafta sonu Jev'i kullanarak her agent eylemini, agent'a verilen görevle karşılaştıran bir hackathon demosu geliştirdi: yüksek güvenle kötü olarak tanımladığı eylemleri engelliyor, diğerlerini incelemeye işaretliyor ve gerisine izin veriyordu. TechCrunch'ın belirttiği gibi, teoride bu tür bir izleme Hugging Face olayını durdurabilirdi ve rapor, maliyeti Jev ile 2,94 dolar, frontier bir LLM ile ise 372 dolar olarak veriyor.

Kilit gözlem, Jev'in bir agent'ın attığı her adımda çalıştırılacak kadar ucuz olduğu; bu da genel olarak agent'ların güvenilirliğini artırabilecek bir inceleme katmanı eklediği.

Açık sorular

Decisions API'sinin Jev'i ne kadar yakından taklit edeceği belirsiz. OpenAI onu sınırlı bir önizleme olarak yayınladı ve TechCrunch, geliştiricilerin henüz onu test ettiğini görmediğini, ancak X'teki sohbetlerin bol ilgiye işaret ettiğini söylüyor. OpenAI da yalnız değil: diğer girişimler de benzer modeller yayınlıyor ve OpenAI bunu inşa eden son teknoloji devi olmayacak gibi görünüyor.

TechCrunch'a göre tüm bu karar modelleri için merkezi bir soru kalibrasyon, yani olasılık çıktılarının gerçek hayatla ne kadar iyi örtüşmesi. Almeida, TypeSafe'ın henderinin (moat), istatistiksel olarak yararlı çıktılar üretmek için oluşturduğu sentetik veri olduğunu savunuyor.

Almeida TechCrunch'a şunları söyledi: "Hızlı ve ucuz olması çok kolay, biliyorsun. Gerçekten hızlı ve ucuz olmasını istiyorsan zar kullan, değil mi? Zor olan kısım zeka ve benim Kuzey Yıldızım her zaman dolar başına zeka Pareto eğrisini ileriye itmek."

Neden önemli

OpenAI'nin küçük bir girişimin fiklini haftalar içinde benimsemesinin kendisi bir sinyal: kısıtlı, seçim tabanlı modeller genel amaçlı LLM'lerin standart bir tamamlayıcısı olmaya hazırlanıyor ve agent iş yüklerinin büyük bölümünü oluşturan dar kapsamlı, yüksek hacimli kararları, alışılmış maliyet ve gecikmenin çok küçük bir bölümüyle ele alıyor.

Ekonomi en çok güvenlik için önemli. Bir agent'ın attığı her adımı kontrol etmek yüzlerce yerine birkaç dolara mal oluyorsa, denetim, artan işlem gücüyle kısmen karşılanan kıt bir kaynak olmaktan çıkıp bir laboratuvarın yayınladığı her agent'ın veya agent sürüsünün altındaki varsayılan bir katmana dönüşüyor.

Rekabet tablosu da değişiyor. OpenAI ve diğer devler formatı kopyalarken TypeSafe'ın savunması, ilk olmak üzerine değil, kalibrasyona ve Almeida'nın dolar başına zeka eğrisi dediği şeye, yani hızlı bir model ile gerçekten yararlı bir model arasındaki farka dayanıyor.