Strot, LLM niyetini bir kez derleyip her kaydı sıfır marjinal maliyetle çalıştıran yerel bir karar modeline dönüştürüyor

Strot adlı açık kaynak bir proje, Hacker News'in ana sayfasında alışılmadık bir öneriyle ortaya çıktı: LLM'i bir servis değil, derleyici olarak ele alın. Niyetinizi bir kez doğal dilde ifade ediyorsunuz, bir LLM bunu donmuş, kendi kendine yeterli bir Python artefaktına dönüştürüyor ve o andan itibaren her sınıflandırma, puanlama veya yönlendirme kararı yerel olarak çalışıyor — model çağrısı yok, sınırlı çıktı ve açık güven skorları var.

Derleyici gerçekte ne yapıyor

Projenin GitHub dokümantasyonuna göre pipeline iki ayrı aşamadan oluşuyor.

Derleme zamanında bir LLM — belgelenen örnekte bir Claude modeli — niyet ve şema başına tam olarak bir kez çağrılıyor. Etiketleri, projeksiyonları ve handler'ları sentezliyor; bunların önce bir "altın kapıdan" geçmesi gerekiyor: zaten cevabını bildiğiniz sorulara karşı yapılan bir doğrulama. Artefakt bu kontrolü geçtikten sonra bir örneklem, bir güven eşiğine uyacak şekilde etiketleniyor ve sonuç düz bir Python dosyası olarak yazılıyor.

Runtime'da hiçbir LLM devrede değil. Varsayılan olarak CPU üzerinde çalışan, SupersonicLabs'ın 144M parametreli Julia-1 modeli, projenin iddiasına göre her kaydı yaklaşık 60 milisaniyede karara bağlıyor. Her çıktı, olasılıklar ve bir güven skarı taşıyan tipli JSON olarak geliyor ve sistemden emin olmadığı kayıtlar tahmin yürütmek yerine çekimser kalıyor.

İki programlama yüzeyi

Strot bir çift API sunuyor. run() her kaydı, geliştiricinin sağladığı bir kayıt defterindeki tek bir eyleme yönlendiriyor — örneğin iade talepleri ile çökme raporları — ve derlenmiş handler'ı çalıştırıyor. decide() ise kayıt başına tipli soruları yanıtlıyor: boolean değerler, sınırlı skorlar ve çoktan seçmeli seçenekler; her biri doğal dil talimatlarıyla geliyor ve yanıtlarla birlikte olasılık ile güven döndürüyor.

Benchmark iddiaları

Proje kendi ölçümlerini yayımlıyor; bunların gerçek Julia-1 modeliyle, gerçek veri kümeleri üzerinde, temiz Docker container'ları içinde üretildiğini belirtiyor. 398 kayıtlık bir temelli yönlendirme görevinde derlenmiş artefakt %92,5 doğruluk elde ederken, aynı modelin naif kullanımı %74,8'de kalmış. Sistemin daha önce görmediği etiketlerle AG News'te %86,7'ye karşı %72,7 bildirilmiş. Önde gelen bir barındırılan karar API'sinin kendi örneğine karşı yapılan tipli duygu analizi karşılaştırması ise neredeyse özdeş çıkmış: 1,79'a karşı 1,8. Kayıt başına, proje yaklaşık 60 ms gecikme, sıfır marjinal maliyet ve sıfır LLM çağrısı iddia ediyor. Depo benchmark kodunu ve dikkate değer bir şekilde başarısızlıkları da içeriyor; ancak bu rakamlar bağımsız olarak doğrulanmış değil.

Koruma bariyerleri ve garantiler

Bir dizi tasarım tercihi yaklaşımı üretime uygun hale getirmeyi amaçlıyor:

• Artefaktlar içeriğe göre önbelleğe alınıyor ve şema kayması sessiz bir hatalı davranış yerine tam olarak bir yeniden derlemeyi tetikliyor.
• Bir artefakt trafiğe hizmet etmeden önce geliştiricinin bildiği cevapları geçmek zorunda.
• Kalibrasyon sıcaklık ölçekleme ve bölünmüş konformal tahmin kullanıyor; marjinal bir istatistiksel sınır sağlıyor: yönlendirilen kararlar en fazla seçilmiş bir oran kadar yanlış oluyor, geri kalan her şey çekimser kalıyor.
• Runtime çıktısı üretilmiş metin değil, kendi kayıt defteriniz üzerinde seçim ve hesaplama olduğu için proje sıfır yapısal halüsinasyon iddia ediyor.
• Karar modeli değiştirilebilir bir yuva; yerel varsayılan, barındırılan API'ler veya herhangi bir hazır uzman model kabul ediyor.

Erişilebilirlik

Strot MIT lisanslı, PyPI'de strot-ai adıyla yayımlanıyor; yerel model, barındırılan runtime'lar ve Anthropic sentezleyici için isteğe bağlı ek paketler sunuyor ve tamamen çevrimdışı dağıtım için yerel checkpoint'ini önceden indirebiliyor. Varsayılan karar modeli Apache-2.0 lisanslı. README, PyPI'deki benzer isimli julia paketiyle bir ilgisi olmadığı konusunda uyarıyor. Proje, bir akademik makale olan STROT'un (arXiv:2505.01636) fikirlerini uyguladığını söylüyor.

Neden önemli

Çağrı başına fiyatlandırma, günümüzde LLM ile karar vermenin varsayılan ekonomisi; bu da destek triyajı, moderasyon ve potansiyel müşteri yönlendirme gibi yüksek hacimli görevlerin maliyetlendirmesini zorlaştırıyor. Strot bunu tersine çeviriyor: tek bir sentez geçişi için ödeme yapın, sonra sınırsız kayıt üzerinde, kontrol ettiğiniz donanımda, çevrimdışı ve öngörülebilir gecikmeyle karar verin. En az bunun kadar önemlisi çekimserlik tasarımı — belirsizlik, sessiz bir yanlış cevap yerine açık ve istatistiksel olarak sınırlı bir sinyale dönüşüyor. Bildirilen doğruluk dış değerlendirme altında da geçerliyse, bir kez derlenen karar artefaktları toplu iş yükleri için barındırılan karar API'lerine ciddi bir alternatif olabilir.