Fim dos deepfakes? Ferramenta identifica qual IA criou vídeo falso na internet

Os pesquisadores da Universidade da Califórnia, Riverside (UCR), em parceria com especialistas do YouTube e da Google DeepMind, desenvolveram uma ferramenta que consegue identificar se um vídeo é falso e apontar qual inteligência artificial foi usada para criá-lo. Chamada SAGA (Source Attribution of Generative AI Videos), a tecnologia ainda está em fase de pesquisa acadêmica, mas pode ser usada futuramente por investigadores digitais, empresas de tecnologia e órgãos reguladores. 

A ferramenta foi criada para ajudar no rastreamento de vídeos gerados por IA em casos de desinformação, fraudes e campanhas coordenadas, em um momento no qual conteúdos sintéticos estão sendo cada vez mais usados na política, entretenimento, publicidade, educação e redes sociais. 

Segundo os pesquisadores, identificar apenas que um conteúdo é sintético já não é suficiente, já que modelos de geração de vídeo estão ficando cada vez mais realistas. A próxima etapa é descobrir de onde aquele material veio e qual sistema foi responsável pela criação.

Nos testes, a SAGA conseguiu analisar vídeos produzidos por 19 geradores diferentes com base em conjuntos de dados públicos, incluindo modelos de texto para vídeo e imagem para vídeo. O sistema também foi capaz de diferenciar versões de um mesmo modelo de IA, indicando uma capacidade maior de rastreamento da origem dos conteúdos. 

O projeto foi liderado pelo doutorando Rohit Kundu, com orientação do professor Amit Roy-Chowdhury. A pesquisa também contou com a participação de Vishal Mohanty, Shan Jian e Athula Balachandran, do YouTube, e Hao Xiong, da Google DeepMind.

Como a SAGA descobre a origem de um vídeo falso?

A SAGA funciona identificando padrões visuais deixados pelos modelos de inteligência artificial durante a criação dos vídeos. Esses sinais funcionam como uma espécie de impressão digital do gerador, já que cada sistema tende a produzir pequenas características próprias que podem ser detectadas pela ferramenta.

O diferencial do método está na análise de informações espaciais e temporais. Em vez de observar apenas imagens individuais, a SAGA avalia como os elementos do vídeo mudam entre os quadros, identificando padrões no movimento e na evolução das imagens ao longo do tempo. 

A ferramenta também utiliza as chamadas Temporal Attention Signatures (T-Sigs), assinaturas criadas a partir dos padrões temporais encontrados nos vídeos. Para construir o perfil característico de cada gerador, a SAGA faz uma média desses padrões ao longo de diversos vídeos produzidos pelo mesmo sistema de IA.

Com esse processo, o modelo consegue identificar características associadas a diferentes geradores e apontar informações, como o tipo de criação usada, a versão do modelo e a equipe responsável pelo desenvolvimento da inteligência artificial.

Apesar dos resultados, os pesquisadores afirmam que a identificação de vídeos gerados por IA continuará sendo uma disputa constante. À medida que novos modelos surgem e ficam mais avançados, ferramentas de detecção também precisarão evoluir para acompanhar as mudanças. 

Se você gostou do conteúdo, talvez também se interesse em conferir 8 sinais para identificar um deepfake quando até as ferramentas falham.