Incentivo a adivinhação | OpenAI diz ter descoberto por que o ChatGPT alucina
Por João Melo • Editado por Melissa Cruz Cossetti |
A OpenAI, empresa responsável pelo ChatGPT, afirma ter descoberto por que a ferramenta de inteligência artificial (IA) apresenta alucinações — e que isso tem relação com o incentivo à adivinhação. O relatório com as descobertas foi divulgado no dia 5 de setembro.
- IA pode alucinar de 32 formas — e elas lembram transtornos psiquiátricos humanos
- Teste de segurança viu ChatGPT disposto a instruir sobre bombas, armas e crimes
- Character.AI | Chatbot com falsas personas de famosos não é seguro para menores
Segundo a companhia, os modelos de linguagem de grande porte (LLMs) alucinam porque os procedimentos padrão de treinamento e avaliação recompensam palpites em vez do reconhecimento da incerteza dos sistemas.
A empresa de Sam Altman define as alucinações como afirmações plausíveis, porém falsas, geradas pela inteligência artificial. O problema, segundo o relatório, começa nos métodos de avaliação atuais, que estabelecem incentivos voltados ao “chute”.
“Pense nisso como um teste de múltipla escolha. Se você não souber a resposta, mas der um palpite, pode ter sorte e acertar. Deixar em branco garante zero. Da mesma forma, quando os modelos são avaliados apenas pela precisão — a porcentagem de perguntas respondidas corretamente —, eles são incentivados a chutar em vez de dizer ‘não sei’”, destacou a OpenAI em comunicado.
Diferentes tipos de resposta da IA
A OpenAI explica que, em perguntas com apenas uma resposta certa, há três categorias possíveis: respostas precisas, erros e abstenções — quando o modelo opta por não arriscar um palpite.
A empresa afirma que erros devem ser considerados piores que abstenções, já que é mais adequado indicar incerteza ou pedir mais informações do que fornecer uma resposta incorreta.
Uma crítica feita pela responsável pelo ChatGPT é que muitas avaliações priorizam apenas as respostas precisas, o que incentiva os modelos a arriscar palpites em vez de se abster para evitar erros.
“Essa é uma das razões pelas quais, mesmo com o avanço dos modelos, eles ainda podem apresentar alucinações, dando respostas erradas com confiança em vez de reconhecer a incerteza”, ressalta a companhia.
Ferramentas de IA não são 100% precisas
Outro ponto levantado no relatório é que nenhuma ferramenta de IA será 100% precisa, principalmente porque, independentemente do tamanho do modelo ou de suas capacidades de busca e raciocínio, algumas questões do mundo real são impossíveis de responder.
Por isso, uma alternativa apresentada pelos pesquisadores para reduzir as alucinações é desenvolver treinamentos e avaliações que desestimulem os palpites dos modelos de IA.
“Modificações simples nessas avaliações podem realinhar os incentivos, recompensando expressões apropriadas de incerteza em vez de puni-las. Isso pode remover barreiras à supressão de alucinações e abrir caminho para trabalhos futuros em modelos de linguagem mais sofisticados, por exemplo, com maior competência pragmática”, concluem os autores do estudo.
Confira a pesquisa na íntegra no arXiv.
Leia mais:
- Alibaba lança IA com parâmetro 'gigantesco' para competir com o ChatGPT
- Como funciona a Maritaca, chatbot com IA brasileiro?
- Direto da China: 5 rivais do ChatGPT que você precisa conhecer
VÍDEO | TODO MUNDO ODEIA A INTELIGÊNCIA ARTIFICIAL
Fonte: OpenAI