Chatbot do Google passa no exame para ser médico nos EUA
Por Augusto Dala Costa | Editado por Luciana Zaramela | 17 de Julho de 2023 às 19h04
O chatbot de inteligência artificial do Google já conseguiu atingir uma nota alta o suficiente para passar no exame que licencia médicos nos Estados Unidos, embora o nível de acerto ainda não chegue na média dos profissionais humanos. A conquista faz parte da corrida tecnológica iniciada com a chegada do ChatGPT no ano passado, da OpenAI, empresa bancada pela concorrente da gigante das pesquisas, a Microsoft.
- Chatbots são mais atenciosos que médicos ao responder dúvidas de pacientes
- Como funciona o Bard | Limitações e abordagem responsável
A área da saúde é, na verdade, uma das que mais podem ser beneficiadas pelas possibilidades da inteligência artificial, ajudando a processar dados e encontrar determinadas doenças. Discussões éticas à parte, os algoritmos conseguem ler certos exames médicos melhor do que os humanos, por exemplo.
Em dezembro do ano passado, a Google revelou que trabalhava em uma ferramenta de IA que responde a perguntas médicas, chamada Med-PaLM, em um estudo preprint (ou seja, ainda sem revisão por pares). Ao contrário do ChatGPT, no entanto, ela não foi disponibilizada ao público, se restringindo ao meio acadêmico por enquanto.
O que o Med-PaLM pode fazer e o que não pode
A Med-PaLM é uma ferramenta treinada com quantidades infindáveis de texto produzido por humanos, e, segundo a Google, é o primeiro grande modelo de linguagem a conseguir passar no Exame de Licença Médica dos EUA (USMLE, na sigla em inglês). Mas o que isso tem a dizer sobre as capacidades da tecnologia?
Para passar na prova médica estadunidense, um indivíduo tem de acertar mais de 60% das respostas apresentadas. Ainda em fevereiro deste ano, um estudo afirmou que o ChatGPT também conseguia chegar a uma nota suficiente ou quase suficiente para aprovação no exame. Um segundo estudo, publicado na última quarta-feira (12), na revista Nature, mostrou que o Med-PaLM chegou a acertar 67,6% em um teste de múltipla escolha semelhante do USMLE.
O resultado é inferior ao que a média dos médicos que passaram no exame puderam atingir, o que, segundo os cientistas, é encorajador. O problema é que, quando não acerta, a inteligência artificial pode fazer o que é conhecido como “alucinação” — situações onde o chatbot dá respostas que não têm nada a ver com o tema perguntado, como se estivesse inventando algo na falta do que relatar.
Segundo a Google, esforços estão sendo feitos para evitar as alucinações, com testes sendo feitos com um novo patamar de avaliação. Na prática, o problema é que responder perguntas médicas é bem diferente de praticar medicina em si. Diagnosticar e tratar pacientes requer a subjetividade humana, analisar contextos individuais e sociais, pesar prós e contras dos tratamentos e muitas outras variáveis. Isso não quer dizer que a tecnologia é inúitl — estudos mostram que robôs com IA podem combater a solidão, por exemplo.
Modelos de linguagem trabalham com estatística, o que leva alguns especialistas a teorizar que alucinações sempre serão um problema para sistemas como esses. O Med-PaLM 2 — baseado no PaLM 2, sistema anunciado na última conferência Google I/O, de maio deste ano — já está sendo testado no hospital de pesquisa estadunidense Mayo Clinic desde abril.