WaterSheep, TypeSafe'in Jev karar modeline açık kaynaklı ve API uyumlu bir alternatif

TypeSafe'in Jev'ine açık bir rakip

Bir geliştirici, dil modellerinin metin yazmak yerine karar vermesini isteyen uygulamalar için TypeSafe'in Jev modeline alternatif olarak geliştirilen açık kaynaklı WaterSheep modelini yayımladı. dev.to'da samratduttaofficial kullanıcı adıyla yazan projenin yazarı, Jev'in temel fikrini şöyle anlatıyor: bir durum ve bir dizi tipli soru gönderiyorsunuz ve düzyazı yerine kodunuzun doğrudan üzerinde hareket edebileceği seçenekler, puanlar ve olasılıklar alıyorsunuz. Ancak Jev kapalı ve token başına ücretlendiriliyor; WaterSheep'in doldurmak istediği boşluk tam olarak bu.

Her biri olasılıklarla birlikte dört soru tipi

WaterSheep soruları dört biçimde yanıtlıyor. noul evet veya hayır'ı evet olasılığıyla birlikte döndürüyor; choice, çağıran tarafın sağladığı listeden tam olarak bir seçeneği seçiyor; score, girdiyi bir derecelendirme ölçeğine yerleştirip beklenen düzeyi bildiriyor; multi ise geçerli olan her seçeneği, her birinin kendi olasılığıyla birlikte döndürüyor. Gönderiye göre bunlardan sonuncusu, Jev'in kendisinin sunmadığı bir yetenek. Yanıtlar her zaman yalnızca kazanan için değil, her seçenek için bir olasılık içeriyor.

Tak-çalıştır uyumluluk için tasarlandı

Uyumluluk hikâyesi projenin en önemli satış noktası. WaterSheep yerel bir sunucu olarak çalışıyor: GitHub'dan kurup serve komutuyla başlattıktan sonra, Jev ile aynı istek ve yanıt yapılarını kabul eden /v1/systemone adresinde bir POST endpoint'i sunuyor. Şemalar eşleştiği için TypeSafe'in kendi Python SDK'sı bununla çalışıyor — SDK'yı yerel adrese yönlendirin ve mevcut Jev scriptleri değişiklik olmadan çalışsın. Yazar bunu typesafe-sdk'nın 0.7.2 sürümüyle doğrulamış; JavaScript SDK henüz test edilmemiş. Yerel çağrılar için herhangi bir API anahtarı değeri kabul ediliyor.

Bir SDK kullanmıyorsanız, endpoint düz HTTP de konuşuyor, dolayısıyla basit bir curl isteği sorgulamak için yeterli. Model ayrıca trust_remote_code etkinleştirilerek standart bir transformers pipeline'ı üzerinden doğrudan Python'da yüklenebiliyor; yerel kurulum olmadan denemek için bir ONNX derlemesi ve barındırılan bir demo da mevcut.

Bildirilen doğruluk ve kalibrasyon

Dağıtım içi test ayrımında WaterSheep %77,8 doğruluğa ulaşıyor; eğitim sırasında hiç görmediği elenmiş veri kümelerinde bu oran %61,2'ye düşüyor. Yazar ayrıca çıktı olasılıklarının iyi kalibre edildiğini, iki ayarda beklenen kalibrasyon hatasının sırasıyla 0,026 ve 0,043 olduğunu bildiriyor; yani modelin beyan ettiği güven, ne kadar sık doğru olduğuyla yakından örtüşüyor. Bu kalibrasyon operasyonel olarak önemli: kendinden emin yanıtlar otomatik eylemleri tetikleyebilirken sınırda kalan durumlar bir insana eskale edilebilir. Zayıf olanlar dahil her kıyas testi başına sonuçlar proje README'sinde yayımlanmış, ayrıntılı bilgi ise eşlik eden bir makalede yer alıyor.

Belirtilen sınırlamalar da aynı derecede açık. Model yalnızca İngilizce, uzun girdiler kesiliyor, derecelendirme soruları en zayıf biçimi ve model tek başına yüksek riskli kararlar almak için tasarlanmamış.

Açık ağırlıklar, açık eğitim

Kod, model ağırlıkları ve eğitim hattının tamamı Apache 2.0 lisanslı ve gönderiye göre tek bir script ile özel veriler üzerinde yeniden eğitilebiliyor. Proje bağımsız ve TypeSafe ile hiçbir bağı yok. Yazar, özellikle modelin yanlış sonuç verdiği girdi örnekleri konusunda açık açık geri bildirim istiyor; model GitHub ve Hugging Face üzerinde erişilebilir.

Neden önemli

Yalnızca karar veren modeller, sohbet asistanlarından farklı bir katmanda yer alıyor: triyaj, yönlendirme ve sınıflandırma hatlarında elle yazılmış kuralların veya zincirlenmiş prompt'ların yerini alıyorlar; bu alanlarda kapalı bir API üzerinde token başına faturalandırma hem maliyeti büyütüyor hem de verileri üçüncü bir tarafa gönderiyor. WaterSheep, ekiplerin aynı iş yükünü kendi donanımlarında, yerel olarak, satıcıya bağımlılık olmadan çalıştırmasına izin vererek ekonomiyi değiştiriyor. Jev uyumlu API, geçiş maliyetlerini düşük tutuyor — mevcut kod, herhangi bir şey yeniden yazılmadan önce değerlendirme amacıyla yerel bir sunucuya yönlendirilebilir.

Dürüst raporlama iki yönlü işliyor. Görülmemiş veri kümelerinde %61,2'lik doğruluk, bunun topluca bir yerine koyma değil, bir başlangıç noktası ve ince ayar tabanı olduğu anlamına geliyor; yazar da aynısını söylüyor. Ama kalibre edilmiş olaslıklar, Jev'in bulunmadığı bir soru tipi ve alan verileri üzerinde yeniden eğitime davet eden Apache 2.0 lisanslı bir eğitim hattıyla, geliştiricilere karar modeli deseninin güvenilir bir açık kaynak referans uygulamasını — ve daha önce sahip olmadıkları bir pazarlık gücü veriyor.