IA pode ser usada para tornar dublagens de filmes mais naturais
Por Felipe Demartini | Editado por Jones Oliveira | 19 de Maio de 2021 às 12h42
Questões como sincronia labial, comprimento de falas e adaptações estão entre os principais desafios do trabalho de dublagem em todo o mundo. Agora, uma startup inglesa quer usar a inteligência artificial para ultrapassar esses obstáculos, empregando a mesma tecnologia dos deep fakes para combinar a performance dos atores de localização com a dos intérpretes originais de um filme ou série de TV.
- O que é deepfake e como ela funciona?
- Sociedade pode estar perdendo a guerra contra os deep fakes, alerta professor
- Disney cria sistema de deepfake mais convincente até agora
O sistema, que usa machine learning e captura de movimentos, foi apresentado pela Flawless, que está estudando a tecnologia e seu funcionamento com foco na boca dos atores. A ideia, na teoria, é quase simples: os modelos de IA estudam a interpretação original e realizam uma fusão, colocando os movimentos dos dubladores nos lábios dos intérpretes de um filme, gerando resultados mais naturais e que preservem, simultaneamente, o trabalho de atuação realizado por ambos.
A ideia é atender a um anseio global, já que, ao contrário do que costuma acontecer no Brasil, plateias internacionais, principalmente nos EUA, não são tão adeptos dos longas dublados ou legendados. Além disso, para a Flawless, ler e assistir de forma simultânea pode fazer com que o espectador perca detalhes, enquanto a aplicação apenas do áudio dublado pode gerar uma distorção visual que, em alguns casos, parece incômoda — a tecnologia de machine learning aborda tudo isso de uma só vez.
Flawless Demo - www.flawlessai.com from Flawless on Vimeo.
Para a demonstração pública do projeto, a startup escolheu um clássico do cinema, Questão de Honra, e também se propôs um desafio, aplicando a tecnologia a uma das cenas mais icônicas do longa militar. O momento do tribunal, envolvendo os personagens interpretados por Tom Cruise e Jack Nicholson, aparece com a aplicação da localização para o francês de forma bastante natural.
Outros atores consagrados, como Tom Hanks e Robert De Niro, em filmes como Forrest Gump: O Contador de Histórias e Sequestro do Ônibus 657, também aparecem como parte do estudo envolvendo adaptações em outros idiomas, incluindo opções com fonética bem diferente do inglês, como alemão ou japonês. A Flawless diz que o sistema ainda não funciona de maneira totalmente precisa, mas diz estar bem satisfeita com os resultados obtidos até agora.
O trabalho da startup teve como ponto de partida um estudo de 2019 do Instituto de Informática Max Planck, da Alemanha, com foco em uma aplicação mais rápida e otimizada em termos de processamento. O resultado, como afirma a Flawless, é quase todo feito pela máquina, mas que ainda requer a necessidade de retoques visuais — a companhia fala em uma divisão de 85% e 15%, com a menor parte tendo de ser feita manualmente.
O grande foco da startup, afirma a própria, são os serviços de streaming, que podem ver uma redução de custos e um aumento nas audiências de produtos dublados com a ajuda da tecnologia. Além disso, a ideia é que o projeto sirva de vitrine, principalmente, aos dubladores, que também podem ter suas atuações transportadas para os longas em que atuam onde, antes, apenas a voz estava disponível.
Além disso, ela mostra uma ambição ainda maior e cita o recém-anunciado remake de Druk: Mais uma Rodada, que ganhou o Oscar de melhor filme estrangeiro neste ano. A Flawless vê a recriação de filmes assim como um atendimento a exigências do público, também citada no ano anterior por Bong Joon Ho, de Parasita. Para a empresa, a aplicação das dublagens de forma natural poderia trazer mais amplitude a filmes internacionais e reduzir a dependência das filmagens com atores americanos e produções feitas no próprio país.
Os reflexos seriam globais, mas a startup também sabe que está diante de uma questão cultural que pode ou não ser alterada ao longo dos anos. Por enquanto, o foco está no primeiro contrato, assinado no início do mês com uma empresa não divulgada, e que também marca o lançamento oficial de uma tecnologia que já está pronta para o uso comercial, ainda que esteja em desenvolvimento.
Fonte: The Verge