Nem robô pega robô: IAs falham em identificar outras IAs no Teste de Turing
Por Marcelo Fischer |
:quality(85)/df4c0f32-290e-4181-ac8d-01f1b4c417e6.png)
Nem mesmo uma inteligência artificial (IA) é garantia de sucesso na hora de identificar outra máquina. Em um estudo que colocou chatbots no papel de interrogadores, os sistemas reconheceram corretamente participantes de IA em apenas três de 98 testes.
A pesquisa, publicada na revista Computers in Human Behavior Reports, adaptou o Teste de Turing para investigar se modelos de linguagem conseguem distinguir pessoas de outros chatbots durante uma conversa.
O que é o Teste de Turing?
Proposto pelo matemático britânico Alan Turing em 1950, o experimento avalia se uma máquina consegue conversar de maneira semelhante a uma pessoa. Em sua versão mais conhecida, um avaliador troca mensagens escritas com um humano e um computador, sem saber quem é quem, e tenta identificar a máquina.
O desafio envolve a capacidade de imitar a comunicação humana. Um bom resultado, por si só, não demonstra que a máquina possui inteligência equivalente à de uma pessoa.
Como as IAs tentaram identificar outras IAs?
Os pesquisadores inverteram o papel do avaliador e colocaram sete modelos nessa função, incluindo GPT-4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro e Grok 3. Cada sistema podia fazer até dez perguntas antes de decidir se conversava com uma pessoa ou outra IA.
Participaram 20 voluntários humanos e os mesmos sete modelos. Os chatbots responderam em duas condições: com uma instrução simples para agir como humanos ou com uma personalidade detalhada, que incluía interesses pessoais, respostas naturais e erros ocasionais de digitação.
Ao todo, foram realizados 238 testes, com 1.714 perguntas. As 98 conversas com participantes artificiais renderam apenas três identificações corretas. Além disso, os avaliadores atribuíram às IAs uma probabilidade média de serem humanas de 88%, contra 78% para as pessoas reais. Esses valores representam os julgamentos dos modelos, não suas taxas de acerto.
Uma personalidade ajudou a esconder os chatbots
Nenhuma IA que recebeu a personalidade detalhada foi identificada. Conforme relata o Digital Trends, os poucos sistemas descobertos deram pistas pelo excesso de organização das respostas, e não necessariamente pelo conteúdo.
As instruções também encurtaram as mensagens: os modelos com personalidade produziram respostas com cerca de 39 palavras, praticamente o mesmo tamanho médio das respostas humanas, de 38 palavras.
O resultado se limita aos modelos, às instruções e ao formato de conversa avaliados, sem demonstrar que todo detector de IA falha. Os autores propõem investigar interações mais longas, outros tipos de informação além do texto e avaliações que combinem humanos e máquinas.