O YouTube está desenvolvendo um recurso de inteligência artificial para gerar sincronização labial para seus vídeos dublados automaticamente. A tecnologia visa aumentar o realismo, modificando os movimentos da boca do locutor para alinhá-los com as faixas de áudio traduzidas, com o objetivo de aumentar o envolvimento do espectador. De acordo com Tendências Digitaisa base técnica do sistema, conforme detalhado pelo líder de produto de dublagem automática do YouTube, Buddhika Kottahachchi, depende de uma IA personalizada. Kottahachchi explicou que a tecnologia executa alterações complexas em nível de pixel na boca do locutor na tela para criar sincronização com o áudio dublado. O modelo de IA incorpora uma percepção tridimensional das estruturas faciais, permitindo analisar a geometria dos lábios e dentes. Também foi projetado para interpretar e replicar expressões faciais que acompanham a fala. Essa abordagem de modelagem 3D permite que o sistema simule com mais precisão os movimentos físicos necessários para falar um idioma diferente. Na sua fase inicial, o recurso lip-sync terá limitações técnicas e linguísticas específicas. O processamento de IA está atualmente restrito a vídeos com resolução de 1080p e não pode ser aplicado a conteúdo 4K. O suporte a idiomas no lançamento será limitado a inglês, francês, alemão, português e espanhol. Após esse período introdutório, o YouTube planeja expandir o suporte para mais de 20 idiomas. Esta expansão foi projetada para alinhar o recurso de sincronização labial com toda a gama de idiomas atualmente oferecidos pelo serviço de dublagem automática do YouTube. O YouTube não anunciou uma data de lançamento definitiva para o recurso. Espera-se que a empresa introduza primeiro a tecnologia através de um programa piloto com um pequeno grupo de criadores, uma estratégia que reflete o lançamento da função de dublagem automática. Esse serviço de dublagem automática foi expandido para um público mais amplo no mês passado, indicando que a adição de sincronização labial pode passar por um período de testes prolongado. Os criadores receberão controles para gerenciar seu uso, incluindo a opção relatada de desabilitar o recurso para todo o canal ou para vídeos individuais, dando-lhes a palavra final sobre a apresentação de seu conteúdo. O recurso pode ter um custo adicional, embora um preço específico não tenha sido finalizado. Não se sabe se o criador ou o consumidor arcará com a taxa, mas os relatórios sugerem que provavelmente será o consumidor. Para resolver o potencial uso indevido, o YouTube planeja implementar salvaguardas. Isso inclui uma divulgação descritiva para informar os espectadores sobre a alteração da IA e uma impressão digital invisível e persistente incorporada ao vídeo. Esta marca d’água digital é descrita como tendo função semelhante ao SynthID, uma ferramenta usada para identificar conteúdo gerado por IA, fornecendo um mecanismo de rastreamento e autenticação. O YouTube não é a única plataforma que desenvolve esta tecnologia. A Meta tem uma iniciativa semelhante para sua plataforma Instagram, onde lançou um programa piloto no ano passado para dublar e sincronizar os Reels. Embora os detalhes sobre o sucesso do programa sejam limitados, ele foi recentemente expandido para oferecer suporte a quatro idiomas: inglês, hindi, português e espanhol. https://www.youtube.com/watch?v=8W3noE2Uxag
