Jev tarzı karar modelleri ilgi görüyor: açık kaynak Laya yerel olarak çalışıyor

Yapay zekâ ile etkileşimin farklı bir yolu ilgi topluyor: bir dil modelinin yazılımın sonradan ayrıştırdığı metin yazması yerine, tüm çıktı uzayı bir karar olan bir model kullanmak. Bu fikir, bir dev.to yazısında TypeSafe AI'nin ilk "System One" modeli olarak tanımlanan Jev'de somutlaşıyor ve topluluk bununla zaten deneyler yapıyor — dizüstü bilgisayarda çalışabilen Laya adlı açık kaynak bir karşılık dahil.

Üretmek yerine karar vermek

dev.to yazısının çerçeveye oturttuğu gibi, son birkaç yılın baskın deseni bir modele prompt vermek, token üretmek, yanıtı ayrıştırmak ve ancak sonra harekete geçmek. Yanıt bir insana yönelikse bu iyi çalışır; ama bir program sadece hangi workflow'un çalıştırılacağını, bir isteğin güvenli olup olmadığını ya da bir agent'ın sıradaki aracı hangisi olduğunu bilmesi gerekiyorsa, bu tamamen gereksiz yük demektir.

Jev akışı tersine çevirir. Modelden bir yanıt yazması istenmek yerine, uygulama aday kararları bildirir ve model yapılandırılmış bir karar ile seçenekler üzerinde bir olasılık dağılımı döndürür.

Üç tipli çıktı

Yazıya göre Jev üç karar primi ortaya koyuyor. Choice, önceden tanımlı bir kümeden bir seçenek seçer — bir müşteri sorununu faturalandırma, teknik, teslimat veya hesap olarak sınıflandırmada, seçim ile birlikte seçenek başına olasılıkları döndürebilir (örneğin faturalandırma 0.91). Score, bir şeyi sıralı bir ölçekte değerlendirir; aciliyet, risk veya öncelik için uygundur. Noul, kalibre edilmiş bir evet/hayır olasılığıdır — örneğin bir işlemin incelenmesi gerekip gerekmediği sorusunda 0.94 — guardrail'ler, filtreler ve onay kapıları için doğal bir uyum sunar.

Neden bir LLM'den JSON istemeyelim

Haklı bir itiraz, mevcut modellerin zaten JSON üretebildiğidir. dev.to yazısı yapısal bir fark olduğunu savunuyor: JSON istenen bir üretici model yine de bozuk çıktı, beklenmedik alanlar, geçersiz enum değerleri, reddetmeler veya payload etrafında açıklama metni üretebilir; bunların hepsini çağıran kodun yönetmesi gerekir. Şema ile tanımlanmış bir karar arayüzü, biçim hatalarının birçok sınıfını ortadan kaldırır.

Yazı, bu garantinin sınırına da dikkat çekiyor: bir şema yalnızca yanıtın biçimini kısıtlayabilir, doğruluğunu değil. Tamamen geçerli bir "faturalandırma" sınıflandırması yine de anlamsal olarak yanlış olabilir.

Hız ve katmanlı mimari

Bildirildiğine göre TypeSafe, Jev yanıt sürelerini iş yüküne bağlı olarak kabaca 70–500 ms olarak veriyor; kararları frontier LLM'lere yönlendirmeye kıyasla önemli ölçüde daha iyi verimlilikle — rakamları yazı açıkça bağımsız benchmark değil, satıcının yayınladığı iddialar olarak etiketliyor. Mimari olarak Jev'nin otoregresif olmadığı, kararları bir token sonra diğerini tahmin etmek yerine paralel değerlendirdiği belirtiliyor.

Önerilen dağıtım deseni bir bölünme: akıl yürüten bir LLM zor düşünmeyi üstlenirken, hızlı bir karar katmanı bir pipeline içindeki tekrarlayan mikro seçimleri üstleniyor; böylece gecikme ve maliyet her adımda birikmiyor.

Laya fikri yerel ellerde taşıyor

İkinci bir dev.to yazısı, ModernBERT üzerine kurulmuş, yerel olarak çalışan ve aynı türden score, choice ve noul'larla yanıt veren açık kaynak Jev alternatifi Laya'yı test etmekle geçirilen bir hafta sonunu belgeliyor. Yazar, e-ticaret dolandırıcılığı için bir sipariş risk dedektörü geliştirdi ve üç pratik ders bildirdi.

Birincisi, iş kuralları uygulamada kalmalı. Bir siparişin onaylanması, incelenmesi mi yoksa tutulması mı gerektiği doğrudan sorulduğunda Laya normal siparişleri bile tutma yönünde eğilim gösterdi; uygulama tarafında eşikli bir risk skoruna geçmek (30 altı onay, 30–70 incele, 70 üstü tut) çok daha iyi çalıştı.

İkincisi, girdi ifadesi önemli. Sıfıra ayarlı bir başarısız deneme sayacı gibi ham bir alan, modelin "başarısız" kelimesine bir risk sinyali olarak takılmasına yol açtı — daha büyük LLM'lerden tanıdık bir anlamsal önyargı. Aynı veriyi temiz bir ödeme geçmişi olarak tanımlamak sonuçları iyileştirdi.

Üçüncüsü, donanım gerçekten fark yaratıyor. İstekler yaşlanmış bir CPU'lu dizüstünde beş saniyeden uzun sürdü, Colab üzerinden bir T4 GPU'da bir saniyenin altına düştü ve Laya-serve backend'i 2 vCore, 4 GB'lık bir VPS'e taşındıktan sonra yaklaşık dört saniyede sabitlendi. Yazar ayrıca sektörün özelleşmiş, göreve özgü modellere doğru kaydığı yönündeki daha geniş öngörülere işaret ediyor.

Neden önemli

Karar yoğun sistemler her mikro seçim için frontier LLM'leri çağırmayı bırakırsa, daha düşük gecikme, daha düşük maliyet ve yapısı gereği tip denetlenebilir çıktılar kazanırlar. Jev konsepti ve Laya deneyleri dürüst sınırları da gösteriyor: anlamsal hatalar ve prompt duyarlılığı sürüyor, göz alan performans rakamları satıcıdan geliyor ve mütevazı donanımdaki küçük modeller hâlâ yavaş olabiliyor. Yine de ortaya çıkan desen — düşünen akıl yürütme modelleri, seçen karar modelleri — geçici bir trendden çok üretim yapay zekâsı için kalıcı bir mimari değişim gibi görünüyor.