Underdog'un Woof'u tarayıcıda tamamen çevrimdışı çalışan 32MB'lık bir konuşma sentezi modeli

TechCrunch'ın haberine göre Underdog, Woof adlı konuşma sentezi modelini tanıttı. Model yalnızca 32MB yer kaplıyor ve 31 milyon parametreye sahip. Model tamamen kullanıcının makinesinde, tarayıcı içinde çalışıyor — etkileşimin hiçbir bölümü ağa dokunmuyor — ve ağırlıkları açık olarak indirilmeye sunulduğu için geliştiriciler modeli indirip kendi uygulamalarında ve sayfalarında çalıştırabiliyor.

Bulut hizmetinden paketlenmiş bir varlığa

Bu boyut, ses alanında alışılmadık bir durum. Web'deki konuşma özellikleri genellikle barındırılan API'ler üzerine kuruldu: metin uzak bir sunucuya gönderiliyor, sentez orada gerçekleştiriliyor ve ortaya çıkan ses geri dönüyor. Bu düzen her isteğe gecikme ekliyor, her çağrı için faturalandırma yapıyor ve kullanıcı içeriğini üçüncü taraf altyapıdan geçiriyor.

Bu kadar küçük bir model durumu tersine çeviriyor. Ses, kullanıcının önündeki cihazda üretiliyor; çağrı başına çıkarım maliyeti yok ve bağlantı koptuğunda özellik çalışmaya devam ediyor. Tarayıcı bağlamında sentez, bir ağ bağımlılığı gibi davranmayı bırakıp diğer statik kaynaklar gibi davranmaya başlıyor — frontend ile birlikte gönderilen ve uygulamanın diğer dosyalarıyla birlikte önbelleğe alınıp sürümlenebilen bir şey. Ağırlıklar açık olduğu için geliştiriciler bu yeteneği, bir satıcı ilişkisi veya ölçümlü bir API anahtarı kurmadan gömebiliyor.

Underdog'daki bir örüntünün parçası

Woof tek başına yapılan bir çıkış değil. TechCrunch'a göre şirketler haftalar önce, uç cihazlarda transkripsiyon için tasarlanmış 167MB'lık Bark adlı konuşmadan metne modelini yayınladı. Underdog ayrıca dizüstü bilgisayarlarda çalışacak şekilde tasarlanmış 27 milyar parametreli bir model de yayınladı.

Üçünü birlikte ele aldığımızda, tutarlı bir tez ortaya çıkıyor: yetenekli modeller bir veri merkezinde değil, kullanıcının kendi donanımında konumlanabilir ve tek bir laboratuvar, konuşma tanıma, konuşma çıktısı ve daha büyük ölçekli akıl yürütmeyi hem tarayıcılarda hem dizüstü bilgisayarlarda ele alabilir. Ortak bileşen paketleme — bireysel bir geliştiricinin indirip aynı gün yerel olarak çalıştırabileceği boyutlarda açık ağırlıklar. Ayrıca bir dağıtım etkisi de var: bir uygulamanın içinde yolculuk edebilecek kadar kompakt modeller, özel bir çıkarım altyapısı olmadan kullanıcılara ulaşabiliyor.

Haberciliğin açık bıraktığı noktalar

Kapsam, ölçütlerden ziyade boyut, lisanslama ve dağıtıma odaklanıyor. Woof'un çıktısının, doğallık ve sağlamlık açısından büyük barındırılan ses sistemleriyle nasıl karşılaştırıldığı haberlerde ele alınmıyor ve bu karşılaştırma, istemci taraflı sentezin demoların ve basit arayüzlerin ötesine ne kadar itilebileceğini belirleyecek. 31 milyon parametreli bir model güncel standartlara göre çok küçük ve bu sıkıştırmada yapılan ödünler ayrıntılarıyla açıklanmıyor.

Neden önemli

Yapımcılar için indirilebilir 32MB'lık bir ses modeli, konuşmayı bir backend entegrasyonundan bir frontend özelliğine dönüştürüyor. Çıkarım faturası yok, hiçbir şey ağı geçmediği için gecikme düşüyor ve ses varsayılan olarak cihazda kalıyor — bu da gizlilik konuşmasını sessizce kolaylaştırıyor, çünkü ifşa edilmesi veya aktarım sırasında güvenliği sağlanması gereken bir kullanıcı sesi yok. Cihaz üzerinde transkripsiyon için Bark ile birleştiğinde, küçük bir ekip açık ağırlıklara dayanan eksiksiz bir çevrimdışı ses döngüsü kurabilir.

Daha geniş açıdan bakıldığında Woof, yapay zeka yeteneğinin veri merkezinden istemciye göçünün bir başka veri noktası. Konuşma sentezi, yakın zamana kadar sunucu gerektiren görevin ders kitabı örneğiydi. Artık bir tarayıcı indirmesine sığıyorsa, gerçekten bulut çıkarımı gerektiren özelliklerin listesi sürekli daralıyor demektir — ve uzun süredir çağrı başına maliyetlerle ve gecikme bütçeleriyle kısıtlanan ses arayüzleri, tek bir HTML sayfasının taşıyabileceği bir şeye dönüşüyor.