Geliştirici, Alibaba'nın VideoDetext'ini videolardaki gömülü metni temizlemek için bir web aracına sardı

Alibaba'nın VideoDetext'i için bir web arayüzü

dev.to'da yazan bir geliştirici, Alibaba'nın VideoDetext'ini kullanarak videolardaki gömülü metin ve altyazıları temizleme deneyimini paylaştı. Motivasyon pratikti: e-ticarette çalışan bir arkadaşının, karelerin içine işlenmiş metin içeren görüntüleri yeniden kullanması gerekiyordu; bu iş aksi halde videonun bir editörde kare kare temizlenmesi anlamına gelirdi.

Yazar, mevcut birkaç aracı ve API'yi denedikten sonra VideoDetext'e karar verdi. dev.to yazısına göre çıktı, test edilen videolar için yeterince iyiydi ve API'yi doğrudan çağırmak maliyetleri düşük tutuyordu. Sorun şu ki API son kullanıcılar değil geliştiriciler için tasarlanmış; bu yüzden yazar etrafına Video Text Remover adını verdiği basit bir web arayüzü geliştirdi.

İş akışı nasıl işliyor

Araç süreci birkaç adıma indiriyor. Yazıda anlatıldığı gibi, bir klip yüklüyorsunuz, aracın metni otomatik algılamasına izin veriyor ya da kaldırmak istediğiniz bölgeyi işaretliyorsunuz ve sonra videoyu işliyorsunuz. İş akışının hiçbir yerinde elle anahtar kareli maske veya kare kare düzenleme gerektirmiyor; yazarın kaçınmaya çalıştığı zahmet de tam olarak buydu.

Kalitenin düştüğü yerler

Yazı sınırlamalar hakkında açık sözlü. Testlerde, metin oldukça düz bir arka plan üzerinde durduğunda kaldırma çok daha iyi çalıştı. Metin hareketli nesnelerin veya görsel olarak yoğun sahnelerin üstüne geldiğinde, yeniden oluşturulan alan yine doğal görünmeyebiliyordu — video inpainting'in tanıdık başarısızlık modu: kaldırılan metnin arkasına doldurulan pikseller kareler arasında ikna edici bir şekilde tutarlı kalamıyor.

Yazar bu daha zor vakalar için en iyi yaklaşımı hâlâ araştırıyor ve yazıyı, video inpainting ya da diğer metin kaldırma modellerinde — özellikle zamansal tutarlılığı daha iyi ele alanlarda — deneyimi olan okuyuculardan denediklerini, iş akışı ve çıktı kalitesine dair geri bildirimlerle birlikte paylaşmalarını isteyerek bitiriyor.

Neden önemli

Gömülü metin, videoyu yeniden kullanmak isteyen herkes için inatçı bir engeldir. Piksellere işlenmiş altyazılar ve ekran üstü yazılar bir altyazı parçası gibi kapatılamaz; bu yüzden bir klibi yerelleştirmek veya görüntüleri yeni bir bağlamda kullanmak çoğu zaman kırpmak, yeniden kaydetmek veya saatlerce elle temizlik yapmak demektir. Rutin vakaları — sade arka planlar üzerindeki statik metni — ele alan düşük maliyetli bir API bu işin çoğunu ortadan kaldırıyor ve bunu geliştirici olmayanlara açan küçük bir wrapper, gerçekten ihtiyaç duyan e-ticaret ve içerik ekipleri için erişilebilir kılıyor.

Bildirilen sınırlamalar da bu araç kategorisinin nerede durduğuna dair yararlı bir sinyal. Gömülü metni algılamak büyük ölçüde çözülmüş bir sorun; zor kısım, zaman içinde altındaki içeriği — özellikle kapatılan içerik hareket ettiğinde — ikna edici şekilde yeniden oluşturmak. Bu anlatıma bakılırsa VideoDetext bugün günlük içerik yeniden kullanım işleri için pratik, gerçekten zorlayan çekimler ise hâlâ daha iyi modeller veya compositing yazılımı kullanan bir insana ihtiyaç duyuyor.