ChatGPT erra mais de 80% de diagnósticos de pediatria em estudo
Por André Lourenti Magalhães • Editado por Douglas Ciriaco |
O ChatGPT é uma ferramenta útil, mas ainda não substitui uma consulta médica, especialmente com crianças. Um estudo publicado pela JAMA Network, dos EUA, revelou que o chatbot da OpenAI teve uma taxa de acerto de apenas 17% em diagnósticos da área de pediatria.
- Inteligência artificial supera humanos em jogo clássico
- Inteligência artificial prevê data da morte com 74% de precisão
Na ocasião, o modelo usado foi o GPT-4, com informações mais recentes e disponível via ChatGPT Plus ou Copilot do Bing. O levantamento considerou o desempenho do chatbot para avaliar 100 casos médicos pediátricos publicados entre 2013 e 2023 — para cada situação, um grupo de pesquisadores determinava se a resposta era correta, incorreta ou se o diagnóstico estava incompleto. Foram apenas 17 respostas corretas, contra diagnósticos errados em 72 dos casos, além de 11 respostas incompletas.
Possíveis motivos
Os pesquisadores apontam alguns motivos para o mau desempenho na pediatria. Um deles é a idade: a faixa etária do paciente é muito mais importante em casos pediátricos do que em situações gerais, e é comum que as crianças não consigam explicar os sintomas com clareza.
Outros fatores importantes são a falta de capacidade de reconhecer relações entre condições médicas e o acesso limitado do ChatGPT a dados de saúde. Os pesquisadores sugerem que a IA teria um desempenho melhor caso fosse treinada com mais relatórios médicos.
E em outros casos clínicos?
A performance do ChatGPT com pediatria é ruim, mas o desempenho melhora em situações mais gerais: um outro estudo, publicado pelo New England Journal of Medicine, dos EUA, revelou que a IA acertou o diagnóstico em 39% dos casos.
Em ambos os casos, os profissionais concluem que os chatbots com grandes modelos de linguagem (LLMs) podem ser usados como uma ferramenta complementar. A IA ainda seria importante no cenário clínico para responder a perguntas de pacientes, oferecer informações gerais e ajudar com o agendamento de consultas.