ChatGPT recomenda tratamento contra o câncer repleto de erros
Por Fidel Forato • Editado por Luciana Zaramela |
É inegável que o ChatGPT tem inúmeras utilidades dentro da área da saúde e já pode até “parecer” mais atencioso que um médico, mas isso não é o mesmo que dizer que a ferramenta com Inteligência Artificial generativa, da OpenAI, está pronta para o uso. Em testes práticos, o chatbot foi reprovado ao sugerir tratamentos inadequados contra o câncer para um terço dos casos.
- Bill Gates apoia startup brasileira para criar ‘ChatGPT dos hospitais’
- Chatbots são mais atenciosos que médicos ao responder dúvidas de pacientes
Estas respostas do ChatGPT para o tratamento oncológico foram revisadas por cientistas e médicos do Brigham and Women's Hospital, nos Estados Unidos, com base nas diretrizes da National Comprehensive Cancer Network, publicadas em 2021 — isso porque a versão do chatbot usada (ChatGPT 3.5) só considera aquilo que foi divulgado até setembro daquele ano.
Onde o ChatGPT errou ao sugerir tratamentos contra o câncer?
Publicado na revista científica JAMA Oncology, o estudo envolveu a análise apenas de tratamentos contra três tipos bastante comuns da doença: câncer de mama, próstata e pulmão. No total, foram feitas 104 consultas em busca de tratamentos, com diferentes níveis de gravidade do quadro.
Em 98% das respostas, o ChatGPT incluía pelo menos uma recomendação correta de tratamento do câncer para o quadro específico do paciente. No entanto, os pesquisadores descobriram que 34% dessas respostas também incluíam uma ou mais recomendações não concordantes — em outras palavras, inadequadas.
Por exemplo, para o tratamento de câncer de mama avançado, a única recomendação era cirúrgica, sem considerar o uso conjunto de outras modalidades terapêuticas fundamentais para aumentar as chances de cura da paciente. Para uma pessoa leiga, as respostas parcialmente corretas podem induzir ao erro, gerando problemas futuros.
Alucinações nos tratamentos oncológicos propostos
Outro ponto observado que merece atenção é o risco de alucinações. Em 12,5% dos casos, o ChatGPT gerou uma recomendação de tratamento que não existia dentro das diretrizes da NCCN. Nesses casos, a sugestão poderia ser de algo totalmente novo ou ainda de tratamentos ineficazes para aquele estágio do câncer.
Ainda não pergunte ao ChatGPT o que fazer
Hoje, antes de ir ao médico é relativamente “normal” consultar no Google — ou no TikTok, dependendo da sua faixa etária — sobre quais doenças estão relacionadas com os sintomas que você apresenta. Com o atual nível de precisão do ChatGPT, isso não é recomendado, e a população deve saber dessas limitações.
Neste ponto, “precisamos aumentar a conscientização de que os LLMs [Large Language Models] não equivalem a profissionais médicos treinados”, afirma Shan Chen, o primeiro autor do estudo, em comunicado.
“As respostas do ChatGPT podem parecer muito humanas e podem ser bastante convincentes. Mas, quando se trata de tomada de decisão clínica, existem inúmeras sutilezas para a situação única de cada paciente. Uma resposta certa pode ter muitas nuances e não necessariamente é algo que o ChatGPT ou outro LLM possa fornecer”, complementa Danielle Bitterman, outra autora do estudo.
Apesar das atuais limitações, isso não significa que a ferramenta não mereça continuar a ser explorada e melhorada. Por exemplo, a Fundação Bill & Melinda Gates está investindo em uma startup brasileira para a criação de um chatbot com IA generativa para o uso em hospitais. Quando pronta, a ideia é que possa ajudar médicos na recomendação de antibióticos, apenas quando necessários. Só que, antes de qualquer uso prático, precisará ser adequadamente testada.