Pesquisadores criam sistemas que burlam detecção automática de deepfakes

Uma das principais armas contra os deepfakes, hoje, são as inteligências artificiais que, da mesma forma que são usadas na criação das farsas, também ajudam a detectar. Ou não, já que pesquisadores da Universidade da California San Diego demonstraram que uma manipulação de frames e outros aspectos dos vídeos falsificados pode servir para levar os sistemas de verificação a erros, principalmente se houver conhecimento prévio do tipo de varredura que é feita pela plataforma.

• O que é deepfake e como ela funciona?
• Sociedade pode estar perdendo a guerra contra os deep fakes, alerta professor
• Fake news: como você lida com este fenômeno?

Os deepfakes são manipulações visuais que tentam se aproximar ao máximo da realidade, usando sistemas de inteligência artificial para inserir o rosto de terceiros em vídeos nos quais eles não estão presentes. A técnica é bastante usada, por exemplo, para criar vídeos íntimos falsos com celebridades ou atribuir a políticos frases e atitudes que eles nunca tomaram — a maioria dessas manipulações, quando feitas através de softwares públicos, é fácil de ser detectada. O perigo começa quando as falsificações se tornam mais sofisticadas, como as estudadas pelos dois pesquisadores.

O trabalho de engenharia da computação conduzido por Shehzeen Hussain e Oaarth Neekhara mostra como a inserção de imagens adversariais a cada frame de um vídeo pode seguir enganando sistemas de detecção mesmo após múltiplas conversões de um vídeo. Tais quadros conteriam imagens reais de um objeto falsificado, por exemplo, de forma que um sistema automatizado também as identificasse como legítimas.

Caso os responsáveis, chamados de atacantes na pesquisa, saibam exatamente como um sistema de detecção funciona, a chance de um falso positivo se torna ainda maior. De acordo com os especialistas, alguns sistemas dão peso maior às piscadas do olho, por exemplo, já que tais elementos nem sempre são bem reproduzidos em um deep fake, e poderiam receber um cuidado adicional para aumentar a aparência de legitimidade diante de tais plataformas de verificação.

O problema pode se tornar ainda mais grave com mecanismos de detecção que utilizem machine learning. A tecnologia pode acabar ampliando o total de falsos positivos na medida em que recebe mais e mais imagens manipuladas de forma a parecerem legítimas, “aprendendo” com os sinais enganosos que forem sendo colocados pelos responsáveis em vídeos manipulados.

Os testes foram realizados em dois cenários distintos. Em uma situação na qual os responsáveis pela farsa não possuem conhecimento do sistema de detecção utilizado, a taxa de sucesso foi de 86,4% para vídeos sem compressão e de 78,3% para aqueles que passaram por algum tipo de compactação. Entretanto, quando se sabe a plataforma utilizada para verificação, estes números saltam para 99% e 84,9%, respectivamente.

A conclusão para os pesquisadores é clara: detectores de deepfakes podem até ser eficazes, mas não contra adversários que tentarem objetivamente quebrar tais defesas. Até mesmo um conhecimento parcial de como tais plataformas funcionam pode ser suficiente para que um falso positivo seja criado, em uma alternativa que pode carregar consigo consequências bastante danosas para a imagem de alguém, que tenha sido falsificada desta maneira, e também para o debate público.

A pesquisa foi apresentada no início de janeiro na WACV, um dos principais eventos de visão computacional e inteligência artificial do mundo. Apesar de seus resultados terem sido divulgados, o software usado para burlar os sistemas de verificação de deepfakes não foram publicados pelo alto risco de serem utilizados, justamente, da forma que os estudiosos tentaram denunciar em seu estudo.

Neekhara e Hussain, porém, sugerem algumas implementações para melhorar o estado dos detectores, que também podem aproveitar os achados relacionados às imagens adversariais. Também usando machine learning, a ideia é que as máquinas sejam treinadas a entenderem como funcionam os mecanismos usados para dar aparência de legitimidade e, na medida em que deepfakes mais sofisticados forem sendo criados, tais plataformas também se tornariam mais e mais capazes de identificá-los.

Fonte: EurekAlert