theknowngood.com, yaklaşık 900 yapay zeka modeli için benchmark'ları, fiyatlandırmayı ve puanları takip ediyor

Ne lanç oldu

theknowngood.com adlı yeni bir site yayında ve yapay zeka modellerine ait yayınlanmış değerlendirme verilerini tek bir yerde topluyor: benchmark sonuçları, fiyatlandırma, performans verileri ve arena puanları. Kurucusunun dev.to'daki yazısına göre site, yaklaşık 2.300 sayfada 900 civarı modeli kapsıyor; CSV ve JSON dışa aktarımları ücretsiz, kayıt gerektirmiyor ve CC BY 4.0 lisansıyla yayımlanıyor. Hesap sistemi, kullanıcı takibi veya API yok.

Yazar kendini geliştiriciden çok bir sistem mühendisi olarak tanımlıyor ve projede tartışılmaya değer kararların mimari kararlar olduğunu söylüyor.

Bir veritabanından oluşturulan statik site

Veriler için gerçek kaynak PostgreSQL, ancak biri siteye göz atarken veritabanına hiçbir sorgu gitmiyor. Python ve Jinja2 şablonları, tüm siteyi belirli bir zamanlamayla düz HTML dosyalarına dönüştürüyor; yani bir ziyaretçi bir model sayfasını açtığında yalnızca diskteki bir dosyayı okuyor.

Kurucu bu tasarımın iki gerekçesi olduğunu belirtiyor. İlki yeniden üretilebilirlik: statik bir build yeniden oluşturulabilir ve sürümler arasında karşılaştırılabilir. İkincisi maliyet: düz dosyalar sunmak, istek başına sayfa oluşturmaktan farklı olarak yoğun yük altında ucuz kalıyor.

İnternete açık port yok

Barındırma düzeni bilinçli olarak alışılmadık. nginx web sunucusu yalnızca makinenin loopback arayüzüne bağlıyor; site ziyaretçilere giden bir tünel aracılığıyla ulaşıyor, yani genel internette hiçbir şey dinlemiyor.

Yazar, dev.to yazısında bunun bu güvenlik sorunlarına karşı savunmaya çalışmak yerine tüm bir sorun kategorisini tamamen ortadan kaldırdığını savunuyor ve hizmette tek nöbetçi olduğu için bunu tercih ettiğini belirtiyor. Site kendi evindeki donanımda çalışıyor ve ziyaretçileri yavaşlığı haftalar sonra loglarda ortaya çıkmasını beklemeden doğrudan bildirmeye davet ediyor. Ana sayfadaki isteğe bağlı bülten için hesap gerekmiyor.

Ne ölçtüğünü açıklayan grafikler

Yazarın öne çıkardığı bir veri sunum kuralı: her grafik kendi paydasını taşıyor. Bir top-N sıralaması, katalogdaki toplam model sayısını değil, o grafik için gerçekte kaç modelin değerlendirildiğini gösteriyor. Yazar bunu, ilk bakışta önemsiz görünse de projenin tamamında yapılan en önemli düzeltme olarak nitelendiriyor.

Yazıda ayrıca siteyi kurarken ters giden her şeyi anlatan bir değerlendirmeye bağlantı veriliyor; buna, yerleşik kontrollerin büyük bölümünün uzun bir süre boyunca geçerli görünürken fiilen hiçbir şeyi ölçmediği dönem de dahil.

Neden önemli

Yapay zeka modellerine ait değerlendirme verileri makalelere, leaderboard'lara ve üreticilerin fiyatlandırma sayfalarına dağılmış durumda; bu da birebir karşılaştırmayı yavaş ve hataya açık hale getiriyor. Yaklaşık 900 modeli kapsayan, CSV veya JSON olarak indirilebilen ve CC BY 4.0 altında yeniden kullanılabilen tek bir açık lisanslı veri seti, araştırmacılar, araç geliştiriciler ve modelleri birbiriyle karşılaştırmak isteyen herkes için eşiği düşürüyor.

Mimari de tek başına çalışan geliştiriciler ve küçük ekipler için faydalı bir referans noktası. Statik üretim, barındırma maliyetlerini ve sayfa yüklenme sürelerini düşük tutarken, loopback artı tünel kurulumu kamuya açık olma sorununu yamalamak yerine tamamen ortadan kaldırıyor. Payda disiplini ise leaderboard'lara yönelik tanıdık bir eleştiriye değiniyor: sıralamalar, gerçekte hiç değerlendirilmemiş çok daha geniş bir topluluğu tanımlıyor izlenimi verebiliyor.

Sınırlamalar da en az kadar açık. Bu tek kişilik, evde barındırılan ve zamanlanmış yeniden oluşturmaya dayanan bir proje; dolayısıyla verilerin güncelliği ve kesintisiz erişim tek bir işleticiye bağlı. Verilerin güncel kalıp kalmayacağı, theknowngood.com'un kalıcı bir referans mı yoksa ilginç bir anlık görüntü mü olacağını belirleyecek.