Criadora do ChatGPT lança ferramenta para detectar textos produzidos por IA
Por Igor Almenara • Editado por Douglas Ciriaco | •
A OpenAI, criadora do ChatGPT, desenvolveu uma ferramenta que detecta textos produzidos por inteligência artificial. Apresentado nessa terça-feira (31), o mecanismo não é 100% preciso nas análises, mas pode dar pistas quando um artigo foi produzido por um modelo de IA caso o leitor esteja com dúvida.
- Como testar o ChatGPT, a IA que conversa com você
- Ferramenta promete revelar se um texto foi escrito por inteligência artificial
O classificador da OpenAI é um modelo de inteligência artificial preparado para perceber as diferenças entre textos produzidos por humanos ou por IA. O treinamento da plataforma foi feito com uma grande variedade de fontes que a companhia “acredita que foram elaboradas por pessoas”, como os dados utilizados para treinar o InstructGPT.
Detectar a presença de conteúdo produzido artificialmente está ainda mais importante após a ascenção de projetos baseados no GPT-3, incluindo o ChatGPT. A IA já se mostrou capaz de passar em provas complexas para profissões de médico e advogado e fez com que educadores voltassem a utilizar trabalhos manuscritos ou provas orais para evitar que alunos colassem usando o modelo.
Detector imperfeito
Porém, o detector de IA da OpenAI não é infalível. “Nosso classificador não é totalmente confiável. Em nossas avaliações de um ‘conjunto de desafios’ de textos em inglês, nosso classificador identifica corretamente 26% do texto escrito por IA (verdadeiros positivos) como ‘provavelmente escrito por IA’, enquanto rotula incorretamente o texto escrito por humanos com 9% das vezes (falsos positivos)”, explicou a empresa no anúncio.
“Reconhecemos que a identificação de texto escrito por IA tem sido um ponto importante de discussão entre educadores, e igualmente importante é reconhecer os limites e impatos dos classificadores de texto gerados por IA na sala de aula”, pontuou a OpenAI.
“Estamos disponibilizando esse classificador publicamente para obter feedback sobre a utilidade de ferramentas imperfeitas como essa”, complementou a OpenAI. A companhia alerta que o classificador “não deve ser usado como ferramenta primária para tomada de decisão” sobre a autoria de projetos.
Limitações do detector de IA
De acordo com a própria empresa, o detector de IA tem limitações importantes, incluindo:
- O classificador não é confiável em textos curtos (abaixo de 1 mil caracteres). Às vezes, até textos maiores são passíveis de falsos positivos;
- A detecção é pior em idiomas diferentes do inglês;
- Textos que são “muito previsíveis” não são identificados com confiança, como listas numéricas ou respostas para perguntas óbvias;
- O texto produzido por IA pode ser editado por humanos para escapar da detecção;
- O conhecimento limitado do detector torna ele uma ferramenta sempre “mal calibrada” para testes que não tenham sido usados no seu treinamento.
Disponível para todos
O classificador da OpenAI está disponível na web para todo mundo. Se você quiser experimentar (ou conferir se algum projeto "estranho" foi produzido por IA), deve acessar o site oficial da ferramenta e inserir o texto suspeito no campo inferior.