Aprendizado de máquina ainda não consegue identificar fake news, diz estudo

Em fevereiro deste ano, alguns pesquisadores conseguiram treinar um algoritmo que pode criar fake news sozinho, de maneira tão convincente a ponto de realmente ter o potencial de enganar uma quantidade massiva de leitores — com o mínimo de intervenção humana. Desde então, os especialistas esperavam poder criar um “antídoto”, ou seja, uma forma dos próprios sistemas baseados em aprendizado de máquina poderem identificar “reportagens” inventadas.

Mas os estudos de Tal Schuster, estudante de doutorado do Instituto de Tecnologia de Massachusetts (MIT, na sigla em inglês), mostram que, embora atualmente os programas sejam ótimos em detectar textos gerados por outras máquinas, eles não conseguem reconhecer se as histórias são verdadeiras ou falsas. 

Muitos sistemas automatizados de verificação de fatos são treinados usando um banco de dados de declarações verdadeiras chamado de Extração e Verificação de Fatos (FEVER, na sigla em inglês). Schuster e sua equipe mostraram que, em seu levantamento, o conjunto treinado com FEVER teve muita dificuldade em lidar com mensagens falsas (“Greg nunca disse que seu carro não era azul"), mesmo sabendo a verdadeira ("Greg diz que seu carro é azul"). 

O problema são… os próprios humanos

Segundo os pesquisadores, o maior problema reside no fato de que o próprio banco de dados está cheio de conceitos estabelecidos pelos próprios humanos. As pessoas responsáveis pelo FEVER tendiam a escrever suas entradas falsas como declarações negativas e suas mensagens verdadeiras como positivas — os computadores aprenderam a classificar frases com declarações negativas como falsas.

Como os sistemas foram treinados para resolver problemas muito mais fáceis, que não usam contexto, eles estavam gerando falsos positivos para chegar mais rapidamente aos objetivos. "Se você criar um alvo fácil, poderá vencer esse objetivo. Mas ainda não chega perto de separar as fake news das notícias verdadeiras”, disse Regina Barzilay, professora do MIT.

Fonte: Axios