Há 70% de chance de a IA gerar um colapso na humanidade, diz ex-OpenAI

A OpenAI tem sido alvo de duras críticas por parte de seus próprios ex-funcionários nos últimos meses, em especial no que se refere à segurança e ao potencial dos sistemas de IA de provocarem um colapso na humanidade. Um ex-pesquisador da divisão de governança da OpenAI, chamado Daniel Kokotajlo, fez novas acusações em que alega que a criadora do ChatGPT ignora riscos associados à inteligência artificial geral (AGI) em sua corrida para ser a primeira a alcançá-la.

• Stephen Hawking previu o extermínio da humanidade pela IA há quase uma década
• 10 filmes de um futuro distópico em que máquinas se rebelam contra humanos
• O que sabemos sobre o Q*, a possível super IA da OpenAI

Em maio, um ex-diretor da equipe de controle sobre as super IAs já havia publicado uma série de alertas na rede social X (o antigo Twitter) ao sair da empresa, em que destaca o fato de “a cultura e os processos de segurança ficarem em segundo plano” na companhia.

Riscos catastróficos para a humanidade

Em entrevista ao jornal The New York Times, Kokotajlo falou que a probabilidade de a IA causar um colapso catastrófico na humanidade é de aproximadamente 70%. “Essa é uma chance que você não aceitaria para nenhum evento importante na vida, mas a OpenAI e outras empresas estão avançando com essa probabilidade”, afirmou.

Kokotajlo disse que, ao ser convidado para prever o progresso da tecnologia, ficou convencido de que a indústria alcançaria a AGI até 2027 e que isso representava um grande risco de dano ou até mesmo destruição para a humanidade. Ele acredita que a empresa precisa “redirecionar para a segurança” e implementar mais medidas de controle em vez de focar apenas em tornar a tecnologia mais inteligente.

Carta de alerta sobre IA

Além de Kokotajlo, um grupo de nove colaboradores atuais e ex-funcionários da OpenAI também expressou preocupações semelhantes em uma carta aberta, publicada nessa última terça-feira (4). No texto, eles pedem maior transparência das empresas do setor e mais proteções para denunciantes.

• IA avançada poderia exterminar humanidade, alertam pesquisadores
• É provável que IA aniquile a humanidade, dizem cientistas do Google e da Oxford

O grupo afirma que acredita no potencial benéfico dos sistemas de IA para a humanidade, mas considera os sérios riscos que a tecnologia também podem gerar — que vão “desde o aprofundamento das desigualdades existentes, à manipulação e desinformação, até a perda de controle de sistemas autônomos de IA, o que pode resultar potencialmente na extinção humana”.

Entre os signatários da carta estão William Saunders, engenheiro de pesquisa que deixou a OpenAI em fevereiro, e três outros ex-funcionários: Carroll Wainwright, Jacob Hilton e Daniel Ziegler. Alguns funcionários atuais da OpenAI apoiaram a carta anonimamente, com temor de represálias. A carta também recebeu apoio de membros do Google DeepMind e de Geoffrey Hinton, conhecido como o "Padrinho da IA", que deixou o Google devido a preocupações semelhantes.

Resposta da OpenAI

Em resposta às acusações, a OpenAI afirmou ao The New York Times estar “orgulhosa de seu histórico em fornecer sistemas de IA seguros e capazes”, além de destacar seu compromisso com um debate rigoroso sobre os riscos dessa tecnologia. A empresa também mencionou a existência de um comitê de segurança e integridade e uma linha direta anônima para que os funcionários possam expressar suas preocupações.

Kokotajlo disse que, mesmo com protocolos de segurança em vigor, as medidas raramente tinham impacto sobre os avanços no desenvolvimento da tecnologia. O ex-pesquisador cita como exemplo um teste realizado pela Microsoft na Índia no começo de 2023, que usou uma versão não lançada do GPT-4 sem a devida aprovação do comitê de segurança.

Insatisfeito com a falta de ação, Kokotajlo deixou a OpenAI em abril. Em seu e-mail de despedida, afirmou ter “perdido a confiança de que a OpenAI agirá de forma responsável” enquanto busca criar uma IA de nível quase humano.

Momento conturbado

As novas críticas ao modelo de trabalho da OpenAI chegam em um momento conturbado da empresa. Em maio, dois líderes do grupo de “superalinhamento” — o cofundador e cientista-chefe da OpenAI, Ilya Sutskever, e o diretor da equipe de controle, Jan Leike — anunciaram a saída da companhia e expressaram preocupações sobre os riscos de sistemas de IA.

Na ocasião, Leike alertou que “construir máquinas mais inteligentes que as humanas é uma tarefa inerentemente perigosa, e a OpenAI assume uma enorme responsabilidade em nome de toda a humanidade”.

Fonte: The New York Times