Açık kaynak Laya modelleri 33ms kalibre edilmiş kararlar ve Jev'den 7,8 kat hız vaat ediyor

Laya nedir

Hacker News'in şu an ön sayfasında yer alan proje yazarının tanıtım yazısı, Laya'yı tanıtıyor: metin üretmek yerine yapılandırılmış soruları kalibre edilmiş olasılıklarla yanıtlayan, Apache 2.0 lisanslı, otoregresif olmayan bir model ailesi. Ağırlıklar, Python SDK'sıyla birlikte tek bir Hugging Face deposunda (convaiinnovations/laya) yayınlanmış ve TypeSafe AI'nin Eylül 2026'da piyasaya sürdüğü kapalı karar modeli Jev'e açık bir alternatif olarak konumlandırılıyor.

Arka plan hikâyesi tek taraflı aktarılıyor. Yazar, aynı çekirdek fikri Mart 2025'te kurduklarını söylüyor — satış görüşmelerinde turbaz tur dönüşüm olasılıklarını tahmin etmek için dizi gösterimleri üzerinde PPO kullanarak — ve bunu bir makale (arXiv:2503.23303), açık ağırlıklar ve bir veri kümesiyle yayınladıklarını, ardından çerçeveyi ikinci bir makalede (arXiv:2510.01237) resmileştirdiklerini belirtiyor. Onların anlatısına göre TypeSafe AI, Jev'i aynı otoregresif olmayan karar kavramıyla başlattı, ama teknik makale, açık ağırlık veya eğitim veri kümesi olmadan. Bu nitelemeler TypeSafe AI'den değil yazardan geliyor.

Üç karar ilkesi

Laya, tipli soruları bir girdi durumuna karşı — ham metin, e-posta, destek talebi veya JSON belgesi — tek bir ileri geçişte değerlendiriyor. Gönderiye göre üç ilke sunıyor: bir sözlükten bir seçenek seçip anahtarı, seçenekler üzerine bir dağılımı ve bir güven skorunu döndüren choice; durumu sıralı bir değerlendirme ölçeğine yerleştirip beklenen düzeyi ve dereceler üzerine bir dağılımı döndüren score; ve 0.0 ile 1.0 arasında kalibre edilmiş bir olasılık döndüren boolean bir soru olan noul. Gönderiye göre çıktılar tamamen sayı ve olasılık olduğundan model halüsinasyon yapamaz ve bozuk JSON imkânsızdır.

Modeller çift yönlü kodlayıcılardır: İngilizce için bir ModernBERT-large checkpoint'i ve 100'den fazla dili kapsayan bir mmBERT-base checkpoint'i, ayrıca hub'da üçüncü bir uzmanlaşmış checkpoint bulunuyor. Üç ayrı depo yerine, yaklaşık 2,5 GB'lık paket alt klasör indirmeleri kullanıyor; böylece SDK, kullanıcının gerçekten ihtiyaç duyduğu yaklaşık 808 MB'lık İngilizce veya 647 MB'lık çok dilli ağırlıkları indiriyor.

Çok dilli yönlendirmede güven tuzağı

Gönderideki en önemli bulgu, 20 seçenekli ve 0.050 rastgele taban çizgisine sahip MASSIVE benchmark'ı üzerinde yapılan 51 dilli bir taramadan geliyor. İngilizce checkpoint'i Latin alfabesi dışında çöküyor ama bildirdiği güven yüksek kalıyor: Khmer dili ortalama 0.952 güvende 0.000 doğruluk aldı, Ermenice 0.885'te 0.050, İbranice 0.964'te 0.060 ve Bengalce 0.945'te 0.080. Yazara göre 51 dilin tamamında ortalama güven hiç 0.885'in altına inmedi — doğruluk yüzde 82 olsun ya da sıfır.

Yazarın çıkardığı ders, güven kapılamasının (confidence gating) bir hattı koruyamayacağı, çünkü modelin kendi skorları girdinin yazısını okuyamadığı konusunda hiçbir uyarı vermiyor. Bu yüzden Laya ileri geçişten önce yönlendiriyor; 22 alfabede Unicode yazı sistemlerini inceleyen ve Latin durak sözcüğü dağılımlarını analiz eden saf Python bir yönlendirici kullanıyor. Algılama 0,09 ila 0,73 ms sürüyor — yaklaşık 33 ms'lik ileri geçişin yüzde 2'sinden az — ve bir ön yükleme seçeneği, trafik diller arasında değiştiğinde 7 ila 10 saniyelik soğuk takas cezasından kaçınmak için checkpoint'leri bellekte tutuyor.

Jev'e karşı benchmark iddiaları

Gönderi, Laya'nın sayılarının kendi ölçümleri ve Jev'in sayılarının üçüncü taraf çalışmalardan (AbdelStark ve nibzard) ile TypeSafe AI'nin kendi rakamlarından alındığı bire bir karşılaştırma tablosu yayınlıyor. 2.000 kararlık tipli bir benchmark'ta Laya, Jev'in 0.727'sine karşı 0.766 alıyor; yazar bunun 0.735'lik bir öğretici tavanını geçtiğini not ediyor. AG News'te 0.910'a karşı 0.950, DAIR Emotion'da 0.480'e karşı 0.595 iddia ediliyor. Beklenen kalibrasyon hatası 0.246'ya karşı 0.081, yani kabaca üç kat daha iyi. Medyan tek soru gecikmesi, Jev 1.13.0 için bildirilen 236 ila 276 ms'ye karşı 32,8 ms; toplu iş gecikmesi ise kabaca 1,5 saniyeye karşı onlarca milisaniye olarak ölçülüyor.

Gönderi Jev'in hızı konusunda tamamen iç tutarlı değil: Daha önce Jev'in tipik yanıt süresini yaklaşık 150 ms olarak tanımlarken, benchmark tablosu 236 ila 276 ms'lik bir P50 listeliyor. Yazı ayrıca Jev'in milyon girdi token'ı başına 0,042 dolarlık fiyatlandırmasını, Laya'nın kendi sunucunuzda barıştırılabilen, aboneliksiz modeliyle karşılaştırıyor. Bu karşılaştırmaların hiçbiri bağımsız olarak doğrulanmış değil.

Neden önemli

Laya'nın altındaki argüman şu: Sektör, yansı (refleks) kararlar için üretken LLM'leri harcıyor — destek taleplerini yönlendirmek, spam veya prompt injection işaretlemek, bir ölçek üzerinde aciliyet derecelendirmek — tek bir etikete veya olasılığa indirgenebilecek yanıtlar için 500 ila 2.000 ms gecikme ve gerçek çıkarım maliyeti ödüyor. Otoregresif olmayan, kalibre edilmiş karar başlıkları makul bir çözümden biri ve Apache 2.0 lisanslı bir sürüm, mimariyi kapalı API'lerin olmadığı şekilde yeniden üretilebilir ve denetlenebilir kılıyor. Güven tuzağı bulgusu kendi başına da ayakta duruyor: Sıfır skor alırken yüzde 95 güven bildiren bir model, üretimde LLM tarafından bildirilen güvene bel bağlayan herkes için doğrudan bir uyarı. Açık uyarı şu: Bu, proje yazarı tarafından yazılmış tek kaynaklı bir hikâye; kendi yürüttüğü benchmark'lar ve bir rakip hakkında doğrulanmamış iddialarla dolu, bu yüzden sayılar bağımsız olarak yeniden üretilene dek iddia olarak ele alınmalı.