Pesquisadores criam sistema de replicação facial que exige somente uma foto

Um grupo de pesquisadores conseguiu criar uma ferramenta de deep fake capaz de fornecer movimentos faciais a uma foto usando somente uma imagem da cabeça de um indivíduo. A novidade se chamada MarioNETte e foi criada pela empresa Hyperconnect, da Coreia do Sul. 

A tecnologia usa um sistema de machine learning que usa movimentos de uma pessoa real para recriar como se fosse de outra. Em comparação, seriam como as captações de movimento para a indústria de efeitos especiais em cinema. 

O grande feito aqui é que os pesquisadores conseguiram fazer transmissões ao vivo usando somente uma webcam e apenas uma foto da cabeça do indivíduo replicado. A ferramenta funciona assim: uma pessoa é gravada por uma webcam simples. O sistema reconhece os movimentos dela (chamada de “driver”) e cria uma animação em tempo real sob o rosto de quem se quer replicar (chamado de “target”). 

Assim, o espectador final deste vídeo vê o rosto do target com movimentos naturais feito pelo driver, tudo isso acontecendo ao mesmo tempo. Como o exemplo abaixo, em que há o movimento de um rapaz sendo replicado em imagens de personalidades como Einstein, Abraham Lincoln e Jackie Chan

Esta não é bem uma técnica inovadora para o meio, sendo que outras empresas já conseguem fazer esta replicação de movimentos. A grande novidade aqui é como isso é feito. Geralmente, é necessário um tempo de aprendizado e a tecnologia só funciona para uma posição específica de imagem. 

No caso do MarioNETte, um componente chamado de “attention block” mapeia somente os pontos mais importantes de expressão. O sistema, então, alinha com a foto apresentada, analisando geometria do target de acordo com a pose do driver para evitar distorções. 

“O nosso sistema proposto não precisa de uma fase de refinamento para adaptação de identidade, o que aumenta significantemente a utilidade do modelo”, explica os co-autores na pesquisa publicada. 

Contudo, a plataforma precisou ser treinada com banco de dados, o VoxCeleb1 e o CelebV, duas redes abertas de fotos e vídeos de celebridades. No caso, foram usadas mais de 3 mil fotos de pessoas selecionadas ao acaso para que a inteligência artificial fosse preparada. 

Com isso, o MarioNETte pode usar até 8 imagens para formar um modelo que foi testado por 100 voluntários. Contudo, foi possível criar sistemas com apenas uma foto do target. 

A proposta, claro, não é usar o sistema para recriar pessoas famosas ou produzir vídeos falsos. O objetivo dos pesquisadores é usar a tecnologia para animação, sendo mais fácil e barato para a indústria cinematográfica. 

Fonte: Anxiv.org