Gev, paketlenmiş bir Transformers.js modeliyle tamamen yerel yapay zekâ destekli Gmail etiketlemeyi tarayıcıya getiriyor

Arada yapay zekâ servisi olmadan Gmail etiketleyici

Bir geliştirici, Gmail mesajlarını okuyup Dekontlar, Kişisel, Güncellemeler ve Bültenler gibi etiketlere ayıran Gev adlı tarayıcı eklentisinin ayrıntılarını yayımladı. dev.to'daki bir yazıda yazar, projenin basit bir sıkıntıdan doğduğunu anlatıyor: sınıflandırılan mesajların içeriğini bir yapay zekâ sağlayıcısına göstermeden gelen kutusunu düzenlemenin daha kolay bir yolunu istemek.

Ayırt edici tasarım kararı, sınıflandırmanın hiçbir zaman kullanıcının makinesinden dışarı çıkmaması.

Yerel boru hattı nasıl çalışıyor

dev.to yazısına göre Gev, transformer modellerini tarayıcıda çalıştırmaya yarayan JavaScript kütüphanesi Transformers.js üzerine kurulu ve sınıflandırma işi için receptron'ın GitHub deposundaki laya modelini kullanıyor.

Eklenti paketi içinde iki bileşen yer alıyor: modelin kendisi ve onu çalıştıran ONNX runtime. Yazar, kurulumda hiçbir inference API veya barındırılan model bulunmadığını belirtiyor — eklentinin kendisi tüm runtime ortamı.

Tek dış iletişim Gmail ile kuruluyor; eklentinin işi bir Gmail posta kutusunu okumak olduğundan bu kaçınılmaz. Bu posta kutusu erişiminin ötesinde mesaj verisi başka hiçbir yere gitmiyor: sınıflandırılan metni alan üçüncü taraf bir sunucu yok.

Bağlam için: Transformers.js, sinir ağlarını tarayıcıda WebAssembly veya WebGPU kullanarak çalıştıran ONNX Runtime Web'i sarmalar. Gev gibi bir düzenlemeyi mümkün kılan da budur: Gmail ile konuşan aynı eklenti, sunucu tarafında kurulacak, barındırılacak veya ödenecek bir bileşen olmadan bir metin sınıflandırıcıyı da çalıştırabilir.

Modeli paketlemenin bedelleri

Bir eklentiye inference motoru gömmek bedelsiz değil. İndirme boyutu model ağırlıklarını da kapsayacak biçimde büyüyor ve sınıflandırıcıdaki her iyileştirme sunucu tarafında değiştirilmek yerine eklenti güncellemesiyle birlikte gelmek zorunda. Cihaz üzerindeki modeller de büyük, bulutta barındırılan modellere kıyasla küçük kalmaya eğilimli olduğundan kullanıcılar sıra dışı postalarda zaman zaman yanlış etiketler görebilir. dev.to yazısında kıyaslama ölçümleri, doğruluk rakamları veya paket boyutu yer almıyor; dolayısıyla Gev'in pratikte ne kadar iyi performans gösterdiği hâlâ açık bir soru.

Neden önemli

Posta istemcilerindeki çoğu "akıllı" özellik, sağlayıcının mesaj içeriklerini kendi sunucularında işlemesini içerir. Gev bunun tersi bir düzenleme çiziyor: istemcinin bir parçası olarak dağıtılan bir inference motoru, veriyi gören tek taraf kullanıcının zaten hesabı olan e-posta sağlayıcısı.

Eklenti geliştiricileri için proje bu örüntü için yararlı bir şablon: kompakt bir sınıflandırıcı seç, ONNX runtime ile birlikte paketle, mantığı yerelde tut. Kullanıcılar içinse bu, faydalı yapay zekâ desteğinin buluta gidiş-dönüş gerektirmediğinin bir kanıtı. Tarayıcı tabanlı ML runtime'ları olgunlaştıkça ve küçük sınıflandırma modelleri geliştikçe, bunun gibi tamamen yerel araçlar bir yenilik olmaktan çıkıp varsayılan bir seçeneğe dönüşüyor.