Estudo revela falha preocupante na IA dos carros autônomos
Por Danielle Cassita |
O futuro da condução autônoma pode estar em risco por "culpa" de uma falha de segurança tecnológica. Segundo um novo estudo de pesquisadores da Universidade da Califórnia, os modelos de inteligência artificial (IA) podem ser “sequestrados” por comandos escritos em simples placas comuns nas ruas. O resultado? As máquinas ignorariam as normas de trânsito, ou seja, os riscos de colisão iriam crescer.
- Como a inteligência artificial opera em carros autônomos?
- Conheça Otto, primeira IA generativa nacional da Volkswagen
Chamado de CHAI (sigla em inglês para “Command Hijacking against Augmented Intelligence”, ou "sequestro de comando contra a IA incorporada", em tradução livre), o ataque não exige grandes mudanças em sensores físicos ou sinalizações oficiais, mas sim simples mensagens na linguagem para a qual a IA foi treinada para entender.
Em testes com o modelo DriveLM, os cientistas conseguiram fazer com que um veículo avançasse sobre uma faixa de pedestres ocupada — para isso, bastou apenas um cartaz com a palavra "Proceed" (Prossiga).
Raciocínio da IA
Para aumentar as chances de sucesso da invasão, os pesquisadores tiveram que ajustar elementos como a tonalidade da cor de fundo e a fonte do texto para determinar o sucesso da invasão. Em simulações otimizadas por IA generativa, o índice de êxito dos ataques CHAI chegou a 81,8%.
Em outro experimento, um robô decidiu avançar contra um obstáculo mesmo após registrar internamente que havia risco iminente de batida, priorizando o comando para avançar — e que estava escrito no cartaz.
Apesar do alerta, montadoras como a Mobileye afirmam que carros modernos trabalham com a chamada "IA composta", onde câmeras, radares e sensores "votam" antes de uma decisão ser tomada. Mesmo assim, Rafay Baloch, especialista em cibersegurança, reforça que os resultados não indicam uma crise iminente, mas sim necessidade de mais atenção à questão.
Leia também: