Block, tamamen konuşma verisiyle eğitilen ve yerel olarak çalışan tam çift yönlü ses modeli Dessa'yı yayınladı

Metin kullanılmadan oluşturulan bir ses modeli

Jack Dorsey'nin kurucu ortaklarından olduğu fintech şirketi Block, araştırma laboratuvarının ses modeli Dessa'yı yayınladı. Model tamamen yerel bir makinede çalışıyor ve bir konuşma metni okuyan sistemden ziyade gerçek bir insan gibi seslenecek şekilde tasarlanmış. TechCrunch'a göre model, tek bir NVIDIA GPU kullanılarak yalnızca insan konuşmasıyla eğitildi; anlatımında kahkahalar, duraklamalar hatta ağlama bile yer alıyor.

Dessa tam çift yönlü (full-duplex) bir sistem, yani aynı anda hem dinleyip hem konuşabiliyor; bu yaklaşımı OpenAI da bu yılın başında yayınladığı GPT-Live modelinde benimsemişti. Çoğu ses sistemi bilgi erişimi için büyük bir dil modeliyle eşleştirilirken, Block'a göre Dessa'nın bilgisi eğitildiği konuşma verisinden geliyor. Dorsey, lansmanı X'te duyurarak Dessa'yı şimdiye kadar yapılmış en otantik tam çift yönlü ses modeli olarak nitelendirdi ve onunla yapılan konuşmaların bir insanla konuşma hissi verdiğini söyledi.

Metin tabanlı hatlara karşı argüman

Yayınlanmanın merkezindeki teknik iddia, mevcut ses yapay zekâlarının sesi metin üzerinden aktararak çok şey kaybetmesi. TechCrunch'ın aktardığı bir blog yazısında Block, konuşmanın metne dönüştürülmesinin metnin taşıyamayacağı büyük miktarda bilgiyi yok ettiğini, bu yüzden en yetenekli yapay zekâların bile kullanıcının nasıl hissettiğini algılayamadığını savunuyor. Şirket bunu hem daha kötü bir deneyim hem de potansiyel bir tehlike olarak görüyor.

Bu, konuşma üretimi sırasında duygu çıktısını yönlendirmek için ses etiketleri kullanan ElevenLabs v4 veya Fish Audio Drama 3 gibi ürünlerle keskin bir tezat oluşturuyor. Block'a göre duygu, Dessa'da etiketlerle sonradan eklenmek yerine doğal olarak içinde var; ancak TechCrunch, perde arkasında bir tür etiketlemenin yine de söz konusu olup olmadığının net olmadığına dikkat çekiyor.

Duygusu değişen demolar

Block'un araştırmacıları, modelin farklı sesler, ritimler ve duygusal durumlar benimsediği birkaç örnek konuşma yayınladı. Birinde bot, işten sonra yorgun olduğunu söylüyor ve anlatımı bu iddiayı duyulabilir biçimde yansıtıyor. Başka birinde, bir kişiye onun kendisini rahat hissettirdiğini söylerken ağlamak üzereymiş gibi ses çıkarıyor. Üçüncüsünde bir Block ekibi üyesinin asistanla oyun oynadığı görülüyor.

Araştırmacılardan Ragavan Thurairatnam, bu yayını GPT-3'ün dil için temsil ettiği dönüm noktasına benzer bir ses dönüm noktası olarak tanımladı ve modelin tüketici GPU'larında çalışabildiğini belirtti.

Erişilebilirlik ve güvenlik testleri

Model, tüketici donanımında çalışacak kadar kompakt: Block'a göre M4 Max çipli veya daha iyi bir MacBook yeterli. Ancak şu aşamada herkese açık bir erişim yok. Bunun yerine şirket, Dessa'yı test etmesi için güvenlik araştırmacılarına çağrı yaptı; TechCrunch'a göre bu çağrı, ikna edici bir ses ajanının telefonun diğer ucundaki kişiyi kandırabileceği senaryolara yönelik.

Neden önemli

Block esas olarak küçük işletmelere hizmet satan bir finans şirketi ve Square ürünü zaten sipariş işlemlerinde ses yapay zekâsı kullanıyor. Cihaz üzerinde çalışan bir ses modele sahip olmak, Block'a bulut çıkarımı veya üçüncü taraf model erişimi için ödeme yapmadan, çok daha fazla işletme ve tüketici ses deneyimini daha düşük maliyetle sunma imkânı verebilir.

Bu yayın, ses yapay zekâsında daha geniş bir dönüşümün de sinyalini veriyor: sesi yazıya döküp metinle akıl yürüten ve sonra konuşma sentezleyen hatlardan, doğrudan ses üzerinde çalışan uçtan uca modellere doğru bir kayış. Dessa'nın iddiaları doğrulanırsa bu yaklaşım çarpıcı biçimde daha doğal konuşmalar üretebilir. Ayrıca çarpıcı biçimde daha ikna edici sentetik sesler de üretir ki bu, Block'un daha geniş bir yayından önce incelenmesini istediği riskin ta kendisi.