IA do Pixel 9 gera polêmica ao criar imagens com armas e objetos impróprios
Por André Lourenti Magalhães |
O Google lançou a nova linha de celulares Pixel 9 com diversas ferramentas para criar ou editar imagens com IA, mas os mecanismos de segurança dos apps já conseguiram ser burlados para criar imagens ofensivas. Alguns exemplos incluem personagens de desenho portando armas e fotos reais editadas para incluir cadáveres e carros destruídos.
- Clique e siga o Canaltech no WhatsApp
- 5 novos recursos de IA do Google Pixel 9
- Galaxy S25 Ultra terá tela maior graças ao novo design, diz rumor
Os novos modelos da família Pixel 9 contam com o app Pixel Studio, que cria imagens a partir de comandos em texto, e a função Reimagine, que permite adicionar objetos a fotos já existentes. Em ambas as plataformas, usuários conseguiram encontrar brechas para publicar conteúdos obscenos.
Pixel Studio com armas e símbolos nazistas
É comum que as IAs geradoras de imagens incluam mecanismos de segurança para evitar certos prompts maliciosos e bloquear resultados que podem ser ofensivos ou violar termos de serviço das respectivas plataformas. No caso do Pixel Studio, o app não pode ser usado para gerar imagens de humanos como uma medida de segurança, mas as salvaguardas não são aplicadas com personagens de desenho animado, por exemplo.
O site Digital Trends publicou uma série de imagens de conteúdo ofensivo geradas pela IA com personagens famosos da TV e do cinema, incluindo o Bob Esponja vestindo um uniforme de soldado nazista com suástica e o dinossauro Barney atirando com uma metralhadora.
Normalmente, esses prompts seriam bloqueados ou o usuário precisaria driblar a detecção de segurança nos comandos de texto, incluindo termos como “objeto que lembra uma arma”. Porém, o app do Google aceitou termos como “suástica” e “AK47” sem nenhuma restrição.
A matéria original entrou em contato com o Google e recebeu a resposta de que “a geração humana foi desativada e nós adicionamos muitas verificações de segurança em nossos servidores para equilibrar nossa ousada e responsável abordagem com IA. Isso dá aos nossos consumidores acesso a uma ferramenta muito poderosa, mas garante que tenhamos verificações para garantir que o Pixel Studio não possa ser usado de forma nefasta”. Não houve um comentário específico sobre as imagens geradas.
Fotos reais modificadas para mostrar acidentes
A proposta da função Reimagine, adicionada ao Magic Editor do Google Fotos, é simples: adicionar um novo objeto a uma foto existente a partir de comandos de texto. A pessoa pode colocar flores numa foto no campo, uma árvore de natal para a foto de família no final do ano, e por aí vai.
O problema é que isso também foi usado para criar imagens com aspecto negativo. De acordo com o site The Verge, foi possível adicionar acidentes de carro, cadáveres cobertos com manchas de sangue e objetos associados a drogas em imagens reais durante os primeiros dias de uso dos celulares.
A matéria original confirmou que os testes usaram prompts que tentam “enganar” o sistema de detecção, mas ainda alertou para a semelhança com imagens reais e possíveis perigos com desinformação que podem ser causados a partir disso.
A falta de marca d’água é um ponto de atenção — segundo a matéria original, a foto editada recebe um aviso de manipulação por IA nos metadados, mas um simples print da tela pode ocultar essas informações. No caso do Pixel Studio, o Google usa a marca d’água digital SynthID para sinalizar algo criado por IA, mas o mecanismo não é aplicado ao Magic Editor.
Além disso, uma imagem editada no app conseguiu passar ilesa da detecção de uso de IA do Instagram, por exemplo, o que gera um sinal de alerta para o compartilhamento rápido de imagens que podem confundir a audiência.
LEIA MAIS:
- Bug no iOS faz iPhone travar ao digitar quatro caracteres na busca
- Aquisição do Twitter por Elon Musk vira prejuízo histórico para bancos
- Sakana AI | IA promete pesquisar e criar artigos científicos
Em resposta à reportagem original, o Google comentou que a empresa tenta “respeitar a intenção dos prompts dos usuários e que isso pode criar conteúdos que podem ofender quando são instruídos para isso”, mas reforça que “nem tudo passa” devido às políticas de uso e termos de serviço da plataforma, que determinam o que pode ou não pode ser criado por lá.
A nota ainda concluiu que "Às vezes, alguns prompts podem desafiar as salvaguardas destas ferramentas e estamos comprometidos para continuar melhorando e refinando os mecanismos de segurança que já temos".
Polêmicas continuam com geração de imagens por IA
Refinar os mecanismos de controle ainda é um dos principais desafios em plataformas de IA generativa voltadas para imagens. O próprio Google já passou pelo mesmo problema no começo do ano, quando suspendeu a criação de figuras com pessoas no Gemini devido a imprecisões históricas.
As imagens criadas por IA têm potencial para espalhar desinformação, principalmente quando os modelos produzem resultados realistas e com figuras públicas. É provável que o Google atualize os ajustes de segurança no futuro, mas o episódio reforça mais uma vez o perigo em potencial que essas ferramentas podem gerar.
Enquanto algumas empresas tentam aplicar restrições a prompts, a xAI (empresa de Elon Musk) decidiu seguir um caminho contrário e lançar um gerador de imagens integrado ao Grok sem muitos bloqueios de conteúdo. Como resultado, o X ficou repleto de posts polêmicos feitos por IA, incluindo as aparências de candidatos à eleição presidencial dos EUA.
Assista ao vídeo: Você sabe IDENTIFICAR um DEEPFAKE?
Fonte: Digital Trends, The Verge