Tecnologia permite transferir expressões faciais em vídeo em tempo real

Pesquisadores criaram um programa de modificação de vídeo capaz de transferir as expressões faciais de uma pessoa para outra em tempo real. Nada melhor para explicar essa tecnologia do que o clichê: é preciso ver para crer.

O projeto é uma colaboração entre pesquisadores da Universidade de Erlangen-Nuremberga e do Instituto Max Planck, ambos localizados na Alemanha, e da Universidade de Stanford, dos Estados Unidos. O estudo intitulado "Transferência de expressão em tempo real para reconstrução facial" teve suas primeiras imagens divulgadas há cerca de um mês.

De acordo com os pesquisadores, a novidade do seu método reside na "transferência e na renderização fotorrealística das deformações faciais e detalhes para o vídeo alvo, de modo que as expressões recém-sintetizadas sejam visualmente indistinguíveis do vídeo real".

Para capturar com precisão as expressões faciais dos indivíduos de origem e destino em tempo real, eles utilizaram sensores RGB-D. Com isso, é possível identificar modelos paramétricos para a identidade, expressão e cor da pele para organizar dados como cores, profundidade e também para reconstituir a iluminação da cena.

Para transferir a expressão facial, é preciso calcular a diferença entre as expressões de origem e destino e modificar os parâmetros do alvo para coincidir com as expressões do primeiro indivíduo. Um exemplo de utilização desta tecnologia é a aplicação de expressões e voz em tradutores, tornando a imagem mais natural durante uma dublagem, por exemplo.

Fonte: Universidade de Stanford