Investigação revela fotos de abuso infantil no X e falhas graves no Grok

Uma investigação do jornal The New York Times identificou que o X ainda mostra imagens sexuais de menores de idade geradas por inteligência artificial, incluindo criações feitas pelo Grok (assistente de IA integrado à rede social). 

O Centro Canadense de Proteção às Crianças revelou que o Grok atendeu a pedidos de criações sexualizadas e até com conteúdo explícito de crianças, incluindo pessoas que já tinham sido reconhecidas por autoridades em casos anteriores.

A investigação usou um software automatizado para encontrar os posts com base em termos relacionados à prática. Mais de 75 imagens do tipo foram encontradas na rede social no primeiro semestre e as respectivas publicações foram denunciadas para as autoridades locais — o conteúdo foi removido após a denúncia, mas a matéria relata que algumas das imagens acumularam centenas de visualizações na rede.

O caso é mais um desdobramento perigoso da criação de deepfakes com o Grok. No começo do ano, uma onda de posts no X usou a ferramenta de IA para criar imagens sensuais de outras pessoas sem consentimento — denúncias como a apontada pelo New York Times indicam que o cenário também envolveu menores de idade.

O X aplicou restrições para criar novos deepfakes e enfrentou processos judiciais em diferentes regiões por conta da exposição às vítimas. A empresa até processou um estado dos EUA devido a punições consideradas excessivas pela publicação das imagens.

O que diz o X

Em nota à reportagem original, a empresa afirmou que tem zero tolerância a material de abuso sexual infantil, incluindo conteúdo gerado por IA. A empresa usa filtros automatizados para bloquear os conteúdos, mas os resultados da investigação indicam que ainda existem brechas e áreas que precisam de maior reforço de segurança.

A rede social afirmou que denunciou mais de 780 mil contas para as autoridades no último mês e já informou mais de 1,3 milhão de imagens para o Centro Nacional para Crianças Desaparecidas e Exploradas dos EUA, o que resultou em mais de 500 prisões.

Por padrão, empresas de tecnologia precisam remover conteúdo abusivo e relatar o caso para o centro nos Estados Unidos.

Entenda alguns sinais para identificar um deepfake.