IA que clona vozes de celebridades é usada para a prática de crimes

O aplicativo de inteligência artificial Beta mal foi lançado e a empresa ElevenLabs já precisa lidar com a atuação de criminosos. A solução permite a criação de áudios personalizados a partir de amostras de voz de uma pessoa. O maior problema é a capacidade de gerar sons baseados em vozes de pessoas reais, como dubladores, celebridades e atores.

• Criadora do ChatGPT lança ferramenta para detectar textos produzidos por IA
• Character AI simula conversas avançadas com personagens e celebridades

Segundo a ElevenLabs, foram encontrados um número crescente de casos de uso indevido de clonagem de voz. O uso vai desde comentários impróprios, com tons machistas ou homofóbicos, até tentativas de enganar pessoas se passando por um famoso.

O pior é que membros do fórum 4chan estão estimulando o uso da ferramenta para gerar vozes falsas, com destaque para o polêmico podcaster Joe Rogan, a atriz Emma Watson e o personagem Rick Sanchez, do desenho "Rick & Morty". Este último teve o áudio substituído por uma frase na qual afirma que vai bater na esposa até a morte — uma referência ao dublador Justin Roiland, acusado e inocentado de violência doméstica em 2020.

No caso de Watson, fizeram uma montagem dela interpretando a personagem Hermione Granger enquanto lia uma seção do livro Mein Kampf, escrito pelo líder nazista alemão Adolf Hitler. Um vídeo como esse pode ser facilmente espalhado nas redes sociais ou em grupos de WhatsApp para convencer as pessoas de que uma obra como Harry Potter teria conteúdo antissemita.

O temor é que essa tecnologia seja usada como deepfake para aplicar golpes diversos, como roubo de credenciais ou dinheiro. É bom ficar atento com supostos áudios de celebridades anunciando coisas absurdas, prometendo empregos e pedindo favores.

O que é o Beta?

O Beta é um app criado pela ElevenLabs, empresa fundada por ex-funcionários do Google, cujo enfoque é trabalhar com IAs voltadas para áudio. O foco é entregar um produto na linha do DALL-E e do ChatGPT, porém com enfoque na produção sonora, ajudando quem não é especialista a ter suas próprias criações.

A ferramenta promete clonar a voz de qualquer pessoa a partir de uma amostra de 60 segundos. Uma opção chamada clonagem profissional permite imitar até os sotaques das pessoas, dando mais veracidade à voz. Como o uso é gratuito, basta criar uma conta para começar a produzir áudios baseados nas falas de outros.

O ElevenLabs afirmou já trabalhar em uma solução para proteger a ferramenta da criação de deepfakes. É provável que uma barreira de copywright seja imposta para impedir o reaproveitamento de áudio de pessoas famosas ou até que o usuário precise se identificar para criar áudios assim. Enfim, o jeito é aguardar o anúncio oficial para saber o que vem por aí.

Ferramentas de geração de artes por IA já possuem mecanismos semelhantes de proteção. No caso do DALL-E, por exemplo, é impossível criar imagens com nomes de políticos, artistas ou famosos. Também não são aceitas palavras de conotação sexual, palavrões ou termos associados a coisas negativas como machismo, xenofobia, racismo e outras.