Prime Video, dublajlı diyaloglarla oyuncuların dudaklarını eşleştirmek için yapay zekâ kullanmaya başladı

Prime Video'un yapay zekâ lip-sync özelliği yayında

The Verge'ün haberine göre Amazon'un Prime Video hizmeti, bir oyuncunun ağız hareketlerini dublajlı diyalogla hizalamak için yapay zekâ kullanan bir özelliği kullanıma sunmaya başladı. Dikkat çeken ayrıntı, dublajın halen insanlar tarafından yapılıyor olması: Yapay zekâ sonrasında devreye girerek izleyicinin ekranda gördüğü görüntüyü yeniden şekillendiriyor, böylece görüntü orijinal dile değil çevrilmiş konuşmaya uyum sağlıyor.

Özellik, Alman dizisi Maxton Hall'ün İngilizce dublajıyla ilk kez kullanılıyor. Habere göre şu anda dizinin 1. ve 2. sezonlarını kapsıyor ve dünyanın her yerindeki abonelere sunuluyor. Prime Video, lip-sync uygulanmış dublajın 9 Aralık'ta gelen üçüncü sezon için de geçerli olacağını, şirketin teknolojiyi zamanla ek yapımlara yaymayı planladığını belirtiyor.

Teknoloji nasıl çalışıyor

Prime Video'nun duyurusuna göre sistem, dudak hareketlerini çevrilmiş ses parçasına uyacak şekilde ayarlamak için yapay zekâyı görsel efekt teknolojileriyle birleştiriyor. Sunum bunu, tamamen sentetik dublaj yerine geleneksel VFX ile yan yana çalışan bir makine öğrenimi olarak konumlandırıyor: Sesler insan seslendirme sanatçılarına ait kalırken, görüntü bunlara uyacak biçimde düzenleniyor.

Bu ayrım dikkat çekmeye değer, çünkü yakın zamanlarda bu alandaki faaliyetlerin büyük kısmı hem çevrilmiş konuşmayı hem de senkronize ağız hareketlerini otomatik olarak üretmeye odaklanıyor.

Daha geniş bir sektör hamlesinin parçası

The Verge, Meta ve YouTube'un da yakın zamanda içerik üreticileri için yapay zekâ destekli otomatik dublaj araçları sunduğuna dikkat çekiyor; bu araçlar arasında, bir kişinin gerçekten izleyicinin tercih ettiği dilde konuşuyormuş gibi görünmesini sağlamaya yönelik isteğe bağlı bir lip-sync modu da var. Prime Video'nun yaklaşımı iki yönden farklı: Senaryolu, profesyonel olarak üretilmiş televizyon yapımına uygulanıyor ve konvansiyonel insan dublajının yerini doğrudan almak yerine onun üzerine ekleniyor.

Bu, Amazon'un yapay zekâ destekli çeviri alanındaki ilk adımı da değil. The Verge'ün bildirdiğine göre Prime Video geçen yıl El Cid: La Leyenda, Mi Mamá Lora ve Long Lost gibi 12 film ve dizide İngilizce ve İspanyolca dillerinde "yapay zekâ destekli dublaj" adını verdiği bir yöntemi denedi. Maxton Hall çıkışı, bu çalışmanın daha görünür bir evrimini temsil ediyor ve ses hattından bitmiş görüntünün görsel düzenlenmesine doğru ilerliyor.

Neden önemli

Dublajlı içerikler her zaman yapısal bir güvenilirlik sorunu taşımıştır. Ağız hareketleri açıkça bir dile, ses ise başka bir dile ait olduğunda izleyiciler sürekli olarak bir çeviri izledikleri hatırlatılıyor; bu da, streaming platformları erişilebilirlik ve erişim için dublajı teşvik etse bile altyazının sadık bir izleyici kitlesini korumasının nedenlerinden biri.

Küresel bir streaming hizmeti için bu sürtünmenin gerçek bir ticari ağırlığı var. Maxton Hall gibi İngilizce olmayan orijinal yapımlar bir platformun en değerli varlıkları arasında yer alıyor ve ABD gibi pazarlardaki performansları büyük ölçüde İngilizce dublajın ne kadar doğal hissettirdiğine bağlı. Yapay zekâ lip-sync, dublajın en görünür ipucunu hedefliyor; bunu insan ses performanslarının üzerine yapmak da Amazon'a, dublaj iş akışlarını otomatikleştirip seslendirme sanatçılarının yerine koymak yerine onları güçlendirdiği iddiasını sunuyor.

Bu hamle ayrıca teknolojinin hangi yöne gittiğinin sinyalini veriyor. Lip-sync düzeltmesi bir amiral gemisi dizide güvenilir olduğunu kanıtlarsa, bunun geniş arşivlere ve daha önce kare kare VFX çalışmasını karşılayamayan düşük bütçeli yerelleştirmelere yaygın biçimde uygulanabileceğini hayal etmek kolaylaşır. Bu da duyurunun yanıt vermediği soruları beraberinde getiriyor — bunların arasındaperformansı ve yapımcıların benzerliklerinin değiştirilmesine nasıl baktığı ile güçlendirme ve manipülasyon arasındaki çizginin nerede olduğu da var. Şimdilik teknoloji platform tarafından isteğe bağlı ve tek bir diziyle sınırlı, ama tek dizilik bir çıkış, ileride varsayılan hâle gelen streaming özellikleri için tanıdık bir desen.