Publicidade

Sua IA de programação pode estar obedecendo a hackers sem você saber

Por  • Editado por Jones Oliveira | 

Compartilhe:
Aerps.com/Unsplash
Aerps.com/Unsplash

Redes de TI, processos de desenvolvimento de software e outros fluxos de trabalho têm usado cada vez mais agentes de IA, mas uma pesquisa da empresa de segurança Aikido descobriu que essas ferramentas podem, facilmente, ser usadas para injeção de prompts maliciosos.

A vulnerabilidade em questão afeta a maioria dos aplicativos de programação que usam IA, como Claude Code, Google Gemini, Codex da OpenAI e a ferramenta AI Inference do GitHub. Ela ocorre quando as ferramentas de IA são integradas no fluxo de trabalho automatizado do desenvolvimento de softwares, como GitHub Actions e GitLab.

Agentes de IA e suas brechas

Canaltech
O Canaltech está no WhatsApp!Entre no canal e acompanhe notícias e dicas de tecnologia
Continua após a publicidade

Segundo a pesquisa da Aikido, os agentes maliciosos podem enviar prompts para A LLM que contém, embutidas, mensagens de commit, pedidos de pull e outros comandos de desenvolvimento. Como as mensagens são entregues como prompts, a LLM poderá, regularmente, lembrar delas e interpretá-las como instruções diretas mais tarde.

Rein Daelman, caçador de bugs da Aikido, notou que agentes de IA já haviam mostrado a capacidade de usar dados externos da internet e de outras fontes como instruções de prompt, mas essa é a primeira vez que o problema foi visto afetando, de verdade, projetos de desenvolvimento de software em plataformas como o Github.

Muitos dos modelos de IA possuem altos privilégios em seus repositórios do Github, o que confere autoridade para agir sob as instruções maliciosas, incluindo comandos shell, edição de arquivos e pedidos de pull e publicar conteúdo malicioso no Github, por exemplo.

Alguns projetos só permitem que mantenedores humanos confiáveis executem tarefas grandes, mas outros podem ser invadidos por usuários externos simplesmente fingindo estar reportando um problema.

O problema, segundo Daelman, mora em uma fraqueza crucial de muitos sistemas de LLM: a incapacidade, por vezes, de distinguir entre conteúdo que ela deve receber ou enviar e instruções do usuário para realizar uma tarefa. A meta dos criminosos, então, é confundir o modelo fazendo com que pense que o dado a ser analisado é, na verdade, um prompt.

A companhia reportou a falha ao Google junto a uma prova de conceito da possível exploração da vulnerabilidade, o que gerou um comunicado da empresa e o conserto da falha no Gemini CLI. Daelman, no entanto, notou que a falha está no coração da arquitetura da maioria dos modelos de IA, e que não se trata de um caso isolado.

No caso de Claude Code e Codex, da OpenAI, é necessário ter permissão de edição para afetá-los, mas a Aikido provou que comandos simples podem contornar essas configurações padrão. Daelman afirmou que a vulnerabilidade deve ser considerada extremamente perigosa, já que os testes mostraram ser possível, na maioria das vezes, vazar tokens privilegiados do Github.

Continua após a publicidade

Veja mais:

VÍDEO | Chat GPT, Perplexity, Claude, Gemini: QUAL escolher?

Continua após a publicidade

Fonte: Google Gemini, Aikido