Funcionários do Google pedem suspensão do Bard; IA é treinada por humanos e erra

O Bard promete ser um competidor para o Bing como um "sabe-tudo" da internet, mas não tem tido vida fácil. Funcionários não identificados de uma empresa que presta serviço para o Google afirmaram que revisores de respostas por vezes não têm tempo suficiente para avaliar respostas e, como consequência, chutam a alternativa correta. Além disso, trabalhadores da própria Gigante das Buscas teriam pedido a suspensão da IA.

• ChatGPT e Bard podem facilitar a desinformação, revela estudo
• Testamos o Bard, a IA do Google para enfrentar o ChatGPT

IA (mal) treinada por humanos

Segundo o site Business Insider, o Bard é monitorado por "raters" ("avaliadores", em tradução livre) desde janeiro deste ano. Eles são responsáveis por avaliar as respostas do chatbot e corrigi-lo quando apresentar uma solução errada — basicamente, parte do treinamento da IA.

Segundo a publicação, quatro funcionários da Appen, terceirizada do Google que trabalha na revisão de conteúdos do Bard, se disseram frustrados por não terem tempo suficiente para revisar respostas da IA da forma correta. A melhor solução para garantir o pagamento pelo serviço, portanto, seria tentar adivinhar qual é a resposta correta — o famoso chute.

Como funciona o processo?

Todo avaliador do Bard analisa prompts do usuário (pedidos e perguntas) e confere duas respostas da IA. Então, ele precisa escolher a melhor entre as duas opções e justificar sua decisão. Todo esse processo, porém, acontece em 60 segundos ou pouco mais do que isso.

Contudo, enquanto o Bard tem acesso a praticamente todo o conhecimento disponível na internet, o avaliador humano pode não ter domínio de um determinado tema e, por isso, não poderia dizer qual a melhor alternativa sem uma boa pesquisa. Como o pagamento é feito pela quantidade de avaliações, para garantir mais dinheiro no fim do dia, muitos deles chutam respostas.

"[Precisamos de] três horas de pesquisa para completar uma tarefa de 60 segundos", disse um deles ao Business Insider, sob condição de anonimato. "É um bom jeito de explicar o problema que temos que lidar no momento", complementou.

"Algumas pessoas vão dizer que ainda são 60 segundos de trabalho, e não posso recuperar esse tempo sentado aqui e descobri que não sei o suficiente sobre isso, então vou apenas dar o meu melhor palpite, assim mantenho o pagamento e posso continuar trabalhando", pontuou outro funcionário. "Vários de nós estão a ponto de quebrar, honestamente", se queixou.

Funcionários do Google pedem suspensão do Bard

Frente à pressa para lançar um produto ainda em desenvolvimento, ao menos dois funcionários do Google pediram que a empresa suspendesse o lançamento do Bard. De acordo com uma notícia do site The New York Times, técnicos envolvidos diretamente com o projeto estariam preocupados com as respostas imprecisas e perigosas do chatbot.

Levantamentos recentes também reforçam esse receio. A ferramenta NewsGuard, dedicada a avaliar a veracidade de informações que saem na imprensa, descobriu que ferramentas como ChatGPT e Bard são pouco confiáveis na reprodução de conteúdo. Sem a devida revisão, os chatbots são suscetíveis a proliferação de notícias falsas e, em alguns casos, isso pode gerar consequências desastrosas para a reputação de pessoas.

Obviamente, com o Bard disponível para testadores desde março, o pedido dos funcionários não foi atendido pelo Google.

Fonte: Business Insider, The New York Times