AWS, TypeSafe'ın Jev'inden esinlenen küçük bir karar modeli olan Strands Decider 2B'yi açık kaynak yaptı

Amazon Web Services, TypeSafe'ın Jev'inden esinlenen yayın dalgasının en son örneği olan Strands Decider 2B adlı küçük bir karar modelini açık kaynak yaptı. TechCrunch'a göre model şu anda kullanılabiliyor, yerel olarak çalışacak kadar küçük ve önceden belirlenmiş seçenekler arasında ayrım yaparken seçiminden ne kadar emin olduğunu raporlayacak şekilde tasarlandı — otomatik bir iş akışının her adımını tam boyutlu bir LLM üzerinden yönlendirmeye kıyasla daha hızlı ve daha ucuz bir alternatif.

Yayın, OpenAI'nin benzer bir ürün duyurduğu hafta geldi; bu da kategorinin araştırma fikrinden sevk edilen ürüne ne kadar hızlı geçtiğinin bir göstergesi.

Yan projeden resmi yayına

Proje kişisel bir deneme olarak başladı. Amazon distinguished engineer Marc Brooker, TechCrunch'a Jev'i gördükten sonra karar modeli konsepti üzerine kendi versiyonunu geliştirdiğini ve ev yapımı versiyonun, boyut sınıfındaki modeller için bir sıralama olan Jevbench'te kısa süreyle zirvede yer alacak kadar iyi performans gösterdiğini söyledi. Amazon mühendisleri daha sonra modeli temizledi ve şirket içinde yapay zeka ajanlarını (AI agent) dağıtmak için yeni araçlar ve protokoller geliştiren bir grup olan Strands Labs aracılığıyla yayınladı.

Brooker, fikrin AWS müşterileriyle yapılan görüşmelerden doğduğunu söyledi; müşterilerin ajan tabanlı iş akışları her adımda tam özellikli bir LLM'nin yetisine veya maliyetine her zaman ihtiyaç duymuyordu. Bu modellerin, iş akışının o an nerede olduğuna göre sıradaki adımın ne olduğunu yanıtladığını, güvenilirliğin güven skorlarından ve kapalı bir olası cevap kümesinden geldiğini, bunun da daha düşük gecikme ve potansiyel olarak daha düşük maliyetle sağlandığını belirterek, bu modellerin "bir iş akışı adımı için mükemmel bir karar verici" olduğunu savundu.

Bir karar modeli gerçekte nedir

Strands Decider, mevcut bir LLM'nin "gövdesi" üzerine inşa edildi — TechCrunch'ın Qen3.5-2B olarak belirttiği 2 milyar parametrelik bir model — ancak metin üretmek yerine kalibre edilmiş seçimler çıkarıyor. TypeSafe orijinal modelini, bir şeyin maliyeti düştüğünde (örneğin bilgisayar zekâsı) ona olan talebin artabileceğini öne süren teorisiyle tanınan iktisatçı William Stanley Jevons'un adıyla adlandırdı.

TypeSafe fikri ortaya koyduğundan beri araştırmacılar düzinelerce benzer model üretti. TechCrunch bu yayılmayı yaklaşımın geniş ilgi gördüğünün — ve her yeni girişimin gerçekte ne kadar değer kattığının hâlâ açık bir soru olduğunun kanıtı olarak yorumluyor.

Ayar yapma dengesi

Brooker'ın temel teknik kaygısı denge. Karar görevlerinde doğruluk ve kalibrasyon için aşırı optimize etmek, altta yatan modelin dil anlama ve genel bilgi yetilerini bozma riski taşıyor — bunlar modeli ilk place'te geniş ölçüde kullanışlı kılan şeyler. Bu dengeyi kurmak, onun görüşüne göre, kategori için kilit mühendislik zorluğu.

Ayrıca frontier laboratuvarlarının bu alanı domine edeceğinden şüpheli. Buradaki pazarlar daha küçük ve ilginç bir şey inşa etmek yüzlerce ya da binlerce dolar tutuyor — bireylerin ve küçük ekiplerin rekabet edebilmesi için yeterince düşük bir maliyet.

TypeSafe'nin işi değil

TypeSafe ise kendi cephesinde başını eğdiği ve gelecekteki modelleri geliştirdiği söylüyor. "İnsanların bunun bir altına hücum olduğunu düşündüğünü anlıyorum, ama modelleri gerçekten akıllı yapmanın zorluğunu hafife alıyor olabilirler," diye konuşan CEO ve kurucu Diogo Almeida, TechCrunch'a şirketi için henüz gerçek bir rekabet görmediğini ekledi. Onun ifadesiyle mevcut klonlar "zekâyı faydalı kılmaya adanmış bir ekipten çok, havalı bir mimari uygulamak isteyen ML insanlarına" benziyor.

Neden önemli

Yayın, yapay zekânın nasıl dağıtıldığındaki bir değişimi yansıtıyor. Ajan tabanlı iş akışları her adımda bir üretim gücünden çok çok sayıda küçük, güvenilir karara ihtiyaç duyuyor ve güven skorlarıyla seçimler üreten 2 milyar parametrelik bir model bu işe — ve bu bütçeye — frontier bir LLM'den daha iyi uyuyor. Modeli açık kaynak yapması ve yerel olarak çalışacak kadar küçük olması, bu karar noktalarının herkes tarafından çalıştırılıp incelenebileceği anlamına geliyor; Jevbench sıralamasının zirvesindeki kısa dönemi ise kendi boyutunda rekabetçi olduğunu gösteriyor. Her iki tarafın da kabul ettiği çözülmemiş soru, Jev tarzı modellerin selinin gerçekten daha iyi otomasyona mı yoksa mimari taklitçilerinden oluşan uzun bir kuyruğa mı dönüşeceği. AWS'nin birinin arkasına güç vermesi, en azından büyük bulut sağlayıcılarının bu örüntü için gerçek bir müşteri talebi gördüğünü işaret ediyor.