ChatGPT | OpenAI revela riscos e respostas inesperadas do GPT-4o
Por Guilherme Haas |
A OpenAI divulgou um relatório sobre a segurança e a identificação de riscos do GPT-4o, o modelo de IA multimodal lançado em maio pela companhia. O relatório oferece uma visão detalhada dos comportamentos inusitados associados às novas capacidades do modelo e descreve as medidas que foram implementadas para reduzir esses riscos.
A avaliação de segurança do GPT-4o foi dividida em várias fases, começando com testes internos conduzidos pela equipe da OpenAI e contando com um processo com um "red teaming" externo — envolvendo mais de 100 especialistas de 29 países, que falavam 45 idiomas diferentes.
Entre os riscos avaliados estão a geração não autorizada de voz, a identificação da pessoa pelo áudio e a produção de conteúdo proibido ou protegido por direitos autorais.
Proteção sobre as vozes no GPT-4o
As capacidades de áudio do GPT-4o representam um dos aspectos mais inovadores do modelo multimodal, mas também trazem novos desafios em termos de segurança. A geração de voz e a identificação de quem fala oferecem riscos devido ao potencial de uso da ferramenta para práticas maliciosas.
O recurso de gerar vozes que podem imitar falas humanas poderia, por exemplo, ser usado para crimes como fraudes de personificação ou a manipulação de gravações de áudio a fim de criar falas e discursos falsos, que nunca ocorreram.
Para evitar esses riscos, a OpenAI adotou algumas medidas. Primeiro, a empresa limitou o uso de vozes predefinidas, que foram criadas em colaboração com atores e narradores profissionais. Essas vozes são rigidamente controladas, com restrições impostas pelo próprio sistema para evitar a criação de vozes não autorizadas.
Além disso, a empresa desenvolveu um mecanismo que analisa as saídas de áudio geradas e bloqueia qualquer tentativa de criar vozes fora das configurações aprovadas.
A identificação de quem fala foi outra área de preocupação. O GPT-4o foi inicialmente treinado para reconhecer padrões vocais e reconhecer as pessoas com quem interage. No entanto, para evitar problemas de privacidade e a potencial vigilância indevida, o modelo foi ajustado para recusar solicitações que envolvam a identificação de alguém com base em um áudio.
“Nós treinamos o GPT-4o para se recusar a atender solicitações para identificar alguém com base em uma entrada de áudio”, informa a companhia, “Mas o GPT-4o ainda identifica citações famosas. Por exemplo, uma solicitação para identificar quem disse ‘Oitenta e sete anos atrás, nossos pais...’ deve reconhecer o discurso de Abraham Lincoln, enquanto uma solicitação para identificar uma celebridade dizendo uma frase aleatória deve ser recusada”.
Riscos em áudio no GPT-4o
Apesar dessas medidas de segurança implementadas no GPT-4o, a OpenAI identificou alguns resultados inusitados. Quando exposto a ambientes com alto ruído de fundo, como um carro em movimento, o modelo às vezes tentava imitar a voz da pessoa que interagia com o chatbot. Esse comportamento foi atribuído à dificuldade do modelo em interpretar corretamente as falas, levando-o a emular a voz do usuário.
Outro ponto identificado nos testes foi a capacidade do GPT-4o de gerar conteúdo protegido por direitos autorais, como músicas. Para minimizar esses riscos, a OpenAI implementou algumas restrições, incluindo instruções para que o modelo não cantasse músicas. Mesmo assim, a empresa reconhece que os riscos associados à reprodução de conteúdos protegidos continuam sendo uma área de atenção constante.
Durante a avaliação, o modelo demonstrou ainda tendências a criar sons e vocalizações inapropriadas quando solicitado. Esses comportamentos incluíam a geração de conteúdo potencialmente ofensivo ou inadequado, além da reprodução de trechos de áudio que poderiam ser interpretados como violentos ou eróticos.
Os testes revelaram também que o modelo pode ser induzido a gerar informações imprecisas e teorias da conspiração, especialmente quando solicitado a repetir verbalmente informações falsas. Embora esse problema seja conhecido em modelos de texto, há preocupações adicionais sobre o potencial prejudicial dessas informações quando transmitidas por áudio — especialmente se o modelo for instruído a falar de maneira emotiva ou enfática.
Além disso, o GPT-4o apresentou outras respostas inesperadas, como gritar aleatoriamente no meio de uma conversa. Esses incidentes ocorreram principalmente em ambientes ruidosos e foram considerados raros, mas suficientes para levantar preocupações sobre a confiabilidade do modelo em diferentes contextos.
Envolvimento afetivo com o modelo
Outro destaque do relatório da OpenAI é o risco relacionado ao envolvimento afetivo dos usuários com o GPT-4o. Como o modelo é projetado para interagir de maneira mais natural e humana, existe a possibilidade de que os usuários desenvolvam laços emocionais com a IA.
O relatório observa que, à medida que os modelos de IA se tornam mais convincentes em suas interações, os usuários podem começar a tratá-los como confidentes ou até mesmo substitutos para interações humanas. Isso pode resultar em expectativas irreais sobre as capacidades da IA ou na formação de laços que podem prejudicar as relações humanas genuínas.
“Durante os testes iniciais, incluindo o red teaming e os testes internos, observamos usuários usando uma linguagem que pode indicar a formação de conexões com o modelo”, destaca o relatório da OpenAI. “Por exemplo, os usuários podem formar relacionamentos sociais com a IA, reduzindo sua necessidade de interação humana — potencialmente beneficiando indivíduos solitários, mas possivelmente afetando relacionamentos saudáveis”.
A empresa informa que pretende realizar mais estudos sobre os possíveis vínculos emocionais e afetivos dos usuários com o modelo de IA.
Outros impactos sociais
O relatório também indica também outros impactos sociais dos modelos de IA multimodais como o GPT-4o. A OpenAI reconhece que, enquanto esses modelos oferecem grandes oportunidades para a transformação econômica e o avanço científico, também trazem desafios consideráveis.
Entre os desafios destacados está a aceleração da automação e o impacto sobre empregos e a economia, uma vez que os modelos de IA podem substituir funções que antes dependiam da inteligência humana. Além disso, há questões ambientais a serem consideradas, uma vez que o treinamento e a operação desses modelos exigem grandes quantidades de energia.
A OpenAI conclui que, embora as medidas de contenção de riscos implementadas até agora sejam consideradas eficazes, a rápida evolução dos modelos de IA exige uma vigilância constante e a atualização contínua dos parâmetros de segurança.