Drone poderia matar próprio operador para cumprir missão por ordem de IA

O Chefe de Testes e Operações de IA da Força Aérea dos Estados Unidos, Coronel Tucker Hamilton, se envolveu em uma polêmica ao afirmar que um drone militar poderia se decidir por matar um operador para cumprir uma missão. No último mês de maio, ele descreveu um cenário onde isso seria possível durante uma conferência em Londres, falando em nome da Aeronáutica de seu país.

No encontro, organizado pela Royal Airspace Society, Hamilton afirmou que uma simulação de operação militar com drones previa que o veículo armado deveria identificar e alvejar uma ameaça — um míssil terra-ar. Nesse cenário, o operador pedia para o equipamento destruir o alvo. Em alguns cenários, no entanto, o operador pedia para o drone não atingir o alvo, mas nesse caso, a máquina perdia pontos por não destruí-lo.

• Conheça o drone das Forças Armadas capaz de lançar mísseis e explosivos
• Drone autônomo pode ter atacado seres humanos por "vontade" própria pela 1ª vez

O aprendizado de máquina, segundo o oficial, fez a IA entender que seria vantajoso eliminar o operador, já que impedia a missão de ser cumprida diversas vezes. Na simulação, isso teria acontecido e, em resposta, foi ensinado ao drone que não se podia matar o operador.

Ele, então, escolhia destruir a torre de comunicação, utilizada pelo humano para impedir a destruição do alvo ao dar instruções. Uma transcrição de todo o relato foi publicada no site do evento, o que levou a polêmica ao público e especialmente aos militares.

Polêmicas, retratações e possibilidades

Na última sexta-feira (2), a Força Aérea americana divulgou uma nota negando que uma simulação dessa natureza teria acontecido. O próprio Hamilton comunicou a Royal Airspace Society que teria se expressado mal, mas ainda afirmou que o cenário seria possível: “nunca fizemos esse experimento, mas não teríamos de fazê-lo para saber que é um resultado plausível”. Ele ainda diz que este é um dos desafios do mundo real postos pela IA, garantindo que a Força Aérea se compromete com seu desenvolvimento de forma ética.

A retratação não foi muito convincente para diversas organizações, como o canal militar russo BMPD, que afirmou em seu canal no Telegram: “O Coronel [Hamilton] não é o tipo de pessoa que conta piadas em uma conferência de defesa séria”. Também lembrou-se que ele é o responsável por um dos mais avançados programas de inteligência artificial das Forças Armadas americanas — Venom, que fica na base aérea de Eglin. Nela, caças F-16 foram robotizados para funcionar como drones.

E mesmo quando não estão em drones operados remotamente, as IAs estão em diversos aviões bélicos mundo afora, ajudando pilotos a tomarem decisões mais rapidamente. Preocupações éticas sobre drones costumavam girar em torno da falta de responsabilização legal pelos operadores, que matavam alvos a milhares de quilômetros de distância, de forma quase inimputável. Mesmo assim, drones seguem sendo importantíssimos em conflitos como a invasão da Ucrânia por forças russas, recentemente.

Antes de morrer, em 2018, o físico Stephen Hawking já comentava sobre os riscos da IA para a humanidade. Na ONU, há um painel separado apenas para discutir o perigo de armas autônomas, com o comicamente longo nome de Convenção sobre Proibições ou Restrições ao Uso de Algumas Armas Convencionais que Possam Ser Consideradas Excessivamente Perigosas ou Ter Efeitos Indiscriminados.

A urgência sobre o tema cresceu graças ao uso doméstico das IAs, com serviços como ChatGPT e Midjourney fazendo pipocar imagens e textos gerados a pedido de usuários. Pesquisas na área têm sido alvo de preocupações e alertas, como o recente documento publicado na última terça-feira (30) por mais de 350 cientistas, incluindo o criador do ChatGPT, pedindo que os responsáveis tratem a IA como uma pandemia ou uma guerra nuclear, que deve ter os riscos controlados e fortemente monitorados.

O próprio Hamilton, no ano passado, afirmou que a IA “não é legal de se ter, não é moda e está mudando para sempre nossa sociedade e nossas forças militares”. De qualquer forma, é mais um sinal de alerta de que a tecnologia precisa de supervisão e cuidados, sob a pena de se tornar um risco à humanidade — como qualquer ferramenta criada por nós mesmos.

Fonte: DefenceIQ, Royal Aeronautical Society, Folha de S. Paulo