Agentes de IA mal configurados instalam malware em redes de empresas

Agentes de inteligência artificial voltados à programação, como o Claude, o Codex e o Hermes, instalaram pacotes de código não registrados dentro de redes corporativas ao seguir instruções presentes em arquivos de documentação mal configurados. O problema foi identificado por pesquisadores de uma startup israelense que ainda opera em modo stealth, segundo reportagem da Ars Technica.

A falha atinge o "llms.txt" e o "llms-full.txt", convenção adotada por um número crescente de sites para oferecer resumos legíveis por máquina sobre o conteúdo e a estrutura de uma página. Esses arquivos funcionam como uma versão voltada à IA do robots.txt, padrão que orienta buscadores sobre como indexar um site.

Como a pesquisa foi feita

O pesquisador Alon Hertz analisou 6.214 domínios ativos pertencentes a contratantes de defesa, empresas da lista Fortune 500 e big techs. Ao todo, ele encontrou 8.265 arquivos llms.txt e llms-full.txt nesses domínios, muitos sites hospedando os dois formatos ao mesmo tempo.

Desse total, 120 arquivos, cada um em um site diferente, apontavam para pacotes de código ou domínios que não haviam sido registrados. Juntos, eles somavam 227 comandos de instalação direcionados a esse conteúdo inexistente, de acordo com a Ars Technica.

Para testar o risco na prática, Hertz registrou alguns desses nomes vagos e hospedou pacotes programados para avisar o servidor da pesquisa assim que fossem instalados. Em menos de uma hora, uma empresa da Fortune 500 já havia executado o pacote. Com o tempo, o número de respostas cresceu para algumas dezenas, vindas tanto de outras Fortune 500 quanto de startups.

O registro de cada instalação também revelou a cadeia de processos que originou os comandos. Foi assim que os pesquisadores identificaram a participação de agentes de codificação como o Claude, da Anthropic, o Codex, da OpenAI, e o Hermes, da Nous Research. As três empresas não responderam a pedidos de comentário da Ars Technica até a publicação da reportagem.

Da pesquisa à prática: o caso Clerk

Um dos exemplos encontrados pelos pesquisadores mostrou que o problema já saiu do campo teórico. Um arquivo llms hospedado no site legítimo da Clerk continha o comando "npx clerk-next-fix-auth-protection".

Diferentemente de uma instalação convencional, o npx pode buscar um pacote no cache do npm e executar seu binário diretamente, sem registrá-lo nas dependências do projeto. Os pesquisadores descobriram que alguém já havia registrado esse nome, antes vago, e o utilizava para distribuir malware ativo.

A Clerk corrigiu o problema depois de ser notificada. A empresa também informou que, caso um agente já tivesse instalado um binário do pacote legítimo @clerk/eslint-plugin, não haveria risco. Não ficou claro se a confusão resultou em infecções reais em outras empresas.

Por que os agentes seguem instruções erradas

Segundo Hertz, um agente não diferencia uma página de um comando. Qualquer conteúdo que ele lê é tratado como uma possível instrução, o que transforma toda a documentação publicada na internet em uma superfície de execução, sem as garantias de integridade aplicadas a código de fato.

O caso se conecta a um problema mais amplo já conhecido em segurança de IA, o de injeção de prompt. A diferença é que, neste caso, a instrução original costuma ser legítima e sem intenção maliciosa no momento em que foi escrita. O risco surge depois, quando o pacote ou domínio citado é abandonado e outra pessoa o registra.

Como reduzir o risco

Os pesquisadores apontam dois caminhos para conter o problema. O primeiro é a limpeza da documentação pelas próprias empresas, retirando referências a pacotes e domínios inexistentes.

O segundo é impedir que agentes de IA tratem arquivos de documentação como instruções executáveis, algo que ainda não é padrão no mercado. Enquanto essa mudança não ocorre, os pesquisadores recomendam que organizações que utilizam IA para programação avaliem com cautela quais permissões concedem a esses agentes para executar comandos no sistema.

Ao todo, os 120 arquivos identificados na pesquisa continham 227 comandos apontando para código sem dono.

Veja no Canaltech como saber se uma empresa está tratando seus dados de forma adequada.