IA que cria figurinhas da Meta gera imagens obscenas e viraliza

A Meta liberou o acesso ao gerador de figurinhas por IA generativa em alguns países selecionados: o recurso permite criar stickers rapidamente por comandos de texto no Facebook e no WhatsApp. No entanto, com poucos dias de uso, a comunidade descobriu que a ferramenta não tem alguns filtros para limitação de conteúdo.

• Bard vai levar IA generativa ao Google Assistente
• Tom Hanks denuncia uso de deepfake não autorizado em propaganda

Publicações viralizaram no X (antigo Twitter) com alguns resultados obscenos e apologia à violência. Os exemplos incluem personagens da franquia Mario e crianças segurando armas de fogo, nudes do primeiro-ministro do Canadá Justin Trudeau e imagens do Mickey Mouse sentado num vaso sanitário.

É importante reforçar que algumas das imagens a seguir são impróprias para visualização no ambiente trabalho.

Não demorou muito para que outras pessoas testassem ver até onde vai a moderação de conteúdo da ferramenta. Um usuário no X descobriu que os apps bloqueiam prompts de órgãos genitais, mas existem formas de burlar o sistema, que ainda gera artes vulgares quando o texto possui um erro de digitação ou descreve o conteúdo proibido sem citar o nome em si.

Meta ainda não se pronunciou

A Meta ainda não emitiu nenhum comunicado oficial sobre a situação. Como a função entrou em fase de testes recentemente, é provável que a empresa atualize o serviço com mais filtros de conteúdo.

Não é o primeiro caso

As ferramentas de IA generativa costumam passar por um cenário parecido: usuários tentam gerar conteúdo obsceno ou pornográfico até o bloqueio total desses pedidos. Foi o que já aconteceu com a versão gratuita do gerador de imagens Midjourney e o chatbot Replika.