Cibercriminosos estão "envenenando" códigos abertos para manipular softwares

Com o aumento da popularidade dos modelos de aprendizado por máquinas, aumentam tanto as aplicações dessa tecnologia quanto as capacidades de criminosos de manipulá-la. Um estudo conduzido pela Cornell Tech mostra que, a partir do “envenenamento” de bases de código aberto, pessoas mal intencionadas podem prejudicar e manipular qualquer criação baseada neles sem serem detectadas.

• Entenda o que é backdoor e a diferença com os trojans
• Hackers usam backdoor “furtiva” para comprometer servidores de e-commerce
• Aprendizado de máquina ainda não consegue identificar fake news, diz estudo

“Com muitas companhias e programadores usando modelos e códigos de sites com código aberto na internet, essa pesquisa mostra quão importante é revisar e verificar esses materiais antes de integrá-los ao sistema atual”, explica Eugene Bagdasaryan, estudante de doutorado na Cornell Tech e autor do projeto “Blind Backdoors in Deep Learning Models”, apresentado publicamente no dia 12 de agosto durante a conferência USENIX Security 2021.

Bagdasaryan explica que, ao inserir backdoors diretamente nos códigos que embasam a criação de projetos, criminosos podem prejudicar cadeias de produção e até mesmo ajudar a manipular notícias ou sites culturais. Como exemplo da análise, os pesquisadores usaram um modelo de análise de sentimento, que foi modificado de forma a sempre classificar positivamente as obras do diretor Ed Wood, conhecido pelas produções de baixa qualidade.

“Com os ataques anteriores, o atacante precisava acessar o modelo ou o dado durante seu treinamento ou implementação, o que exigia penetrar na infraestrutura de aprendizado por máquina da vítima”, explica Vitaly Shmatikov, professor de ciência da computação na Cornell Tech e coautor do trabalho. “Com esse novo ataque, ele pode ser feito em avançado, antes desse modelo sequer existir ou antes dos dados serem coletados — e um único ataque pode ter como alvo múltiplos vítimas”.

Segundo os autores, uma forma de evitar que os ataques de backdoor sejam realizados é através da análise de desvios observados a partir do código original de um modelo de aprendizado. No entanto, eles alertam que mesmo isso pode não funcionar, o que traz sérias implicações para as tecnologias futuras.

Consequências devastadoras

Um código base que tenha sido envenenado pode fazer com que tudo que foi criado a partir dele siga um intuito específico — por exemplo, notícias que trazem termos específicos podem ser modificadas de forma a trazer fatos inverídicos. Para Shmatikov, isso demonstra que a frase “não confie em tudo que você vê na internet” é mais real do que nunca.

“Por conta do quão popular a inteligência artificial e as tecnologias de aprendizado de máquina ficaram, muitos usuários que não são especialistas estão construindo seus modelos usando códigos que mal entendem”, explica o pesquisador. “Mostramos que isso pode ter consequências devastadoras para a segurança “.

Para os pesquisadores, o estudo apresentado é somente um primeiro passo necessário para detectar os desafios que a tecnologia terá no futuro. O objetivo da equipe agora é trabalhar no desenvolvimento de defesas robustas que vão “eliminar toda essa classe de ataque e tornar a IA e o aprendizado por máquina seguros mesmo para quem não é especialista”.

Fonte: TechXplore