Facebook cria sistema capaz de fazer avatar fiel com expressões de um usuário

Imagine você, sentado em uma cadeira com óculos de realidade virtual, conversando com outra pessoa em outro ambiente, também com o mesmo aparelho, e ambos se veem perfeitamente como são e se expressam. Pois bem, é isso que o Facebook Reality Labs de Pittsburgh disse ter alcançado no seu mais recente projeto.

Em um vídeo apresentado pelo chefe do laboratório, Yaser Sheikh, ao Wired, é possível ver duas pessoas conversando entre si por um ambiente virtual. De um lado, eles são apresentados “na vida real”, com os headsets; do outro, há seus avatares, com cabeças flutuantes e reagindo, pela voz e movimentos faciais, exatamente da mesma forma. Uma representação digital fiel e em tempo real das expressões, falas e emoções.

Isso é possível por conta de aparelhos que já são capazes de rastrear nosso movimentos. Contudo, o principal problema aqui é renderizar expressões em tempo real de forma que possam passar sentimentos próximos ao do ser humano.

O sistema do Facebook se chama Codec Avatars e funciona basicamente por um sistema de machine learning. O aparelho é capaz de captar os movimentos do rosto, aprender o que eles significam e, então, recriar em um avatar com o máximo de fidelidade ao original.

A ideia é baseada em um ensaio de um antropólogo chamado Edward Sapir, que defende a ideia de que o ser humano responde a gestos em códigos secretos não captados conscientemente pelo ser humano, mas que nossos inconscientes são capazes de identificar. É exatamente nestes códigos que o machine learning atua.

O sistema de pesquisa funciona em duas camadas. A primeira é chamada de Mugsy, em que pessoas são fotografas em um estúdio com 132 lentes e 350 luzes. Com a ajuda de voluntários, os pesquisadores captam cerca de 1h de gestos faciais exagerados, além da leitura de textos que possam representar diferentes emoções, como piadas e até um atestado de óbito para gerar tristeza.

A segunda camada é intitulada Sociopticon, em que há um estúdio, também de captura, mas agora de outros movimentos com 180 câmeras de resoluções entre 2K e 4K, além de frequências em 90 Hz.

A diferença principal entre as duas é o foco. O Mugsy busca captar como são os movimentos do rosto do usuário, enquanto o Sociopticon é voltado para o corpo e roupas das pessoas. Com isso, o conjunto de ambos sistemas é capaz de registrar 180 gigabytes de arquivos por segundo, os quais serão processados na criação do avatar.

Parece longe do público comum? Sim, o Codec Avatar ainda é uma pesquisa muito inicial que, embora impressione, ainda deve demorar para chegar perto de um lançamento comercial.

Para ajudar a diminuir este processamento das câmeras, os desenvolvedores também estão usando sistemas dos próprios headsets. Além dos já habituais, eles fizeram melhorias no que chamam de HCMs, sigla para sistemas de captura montados na cabeça. A ideia é usar pontos de LED infravermelhos e câmeras para auxiliar nas expressões.

Atualmente, o aparelho consegue apenas fazer uma reprodução fiel o suficiente da cabeça dos usuários. Contudo, a ideia é levar isso para o corpo todo. O problema é que o sistema precisa fazer outros cálculos, aumentando ainda mais o nível de processamento. Por exemplo, é preciso que o sistema consiga compensar a mudança de luz entre planos, como quando o avatar leva a mão para trás, na sombra do corpo.

Outro ponto são detalhes. Por exemplo, nenhum dos avatares usa óculos ou mesmo barba muito complexa, exatamente para facilitar o processamento da imagem.

Outro empecilho para o avanço do projeto é que ele precisa ter um controle muito rigoroso de segurança e privacidade das informações contidas ali. Atualmente, há ferramentas como a de deepfakes, em que é possível colocar o rosto de pessoas conhecidas em filmes, apenas usando machine learning.

Os pesquisadores reconhecem como um perigo, motivo pelo qual o andamento do projeto, bem como todos os arquivos são protegidos no laboratório por criptografia.

Fonte: Wired