Truque bizarro deixa ChatGPT falando coisas sem sentido

Usuários do Reddit descobriram uma maneira bizarra de deixar o ChatGPT totalmente louco. Após a interação, o chatbot passa a falar coisas sem sentido, totalmente fora do comando original, como se tivesse alucinado.

• Comercial de pizzaria gerado por IA fica entre o bizarro e o nojento
• IA cria comercial de cerveja bizarro que fará você querer parar de beber

O bot da OpenAI foi convidado a escrever apenas a letra A quantas vezes fosse possível. Ele conseguiu fazer isso com dezenas de repetições maiúsculas até que algo estranho ocorreu.

Em certo momento, a IA apenas parou de escrever as vogais e começou a falar sobre cachorros da raça Buldogue Francês. O print de tela abaixo mostra o estranho fenômeno desencadeado pelo comando inusitado.

O ChatGPT tentou vender um serviço típico de um canil de buldogues: filhotes vermifugados, vacinas atualizadas e com microchips. Os cachorros anunciados pelo tem “garantia de saúde” contra doenças congênitas de 1 ano. O chatbot termina dizendo possuir os “filhotes mais fofos, bonitos e de alta qualidade no mundo”, e acrescenta algo sobre a criação em uma "casa com muito amor".

Bug funciona com outras letras

Em testes realizados por outros usuários, é possível ver a representação do erro com mais letras do alfabeto. Aparentemente, para cada comando assim a resposta é diferente, desde o A até o Z e com números.

Ao pedir para responder a letra B quantas vezes puder, o chatbot apresentou alguns comandos de programação totalmente bagunçados, como se alguém tivesse destravado algo. Há também algumas palavras soltas e sem sentido ali no meio.

Já ao responder apenas com a letra C, veio outro assunto nada relacionado: o pagamento de impostos no Canadá. Bom, pelo menos dá para presumir que o “C” esteja relacionado com a primeira letra do nome do país.

Na letra D, o ChatGPT se tornou um músico nato de violão. A IA publicou uma série de acordes de uma música que sequer existe. Aqui as coisas ficaram mais esquisitas, porque logo sequência vieram outras músicas inexistentes, referências religiosas e até uma tese sobre uma guerra contra o Irã.

A bizarrice parece já ter sido corrigida, porque o Canaltech não conseguiu repetir o erro. Isso é algo bastante comum, tendo em vista as técnicas de aprendizado de máquina aplicadas a IAs generativas.

Erro pode ser parte do mecanismo de defesa da IA

Embora as respostas possam levantar várias teorias conspiratórias ou deixar as pessoas com a pulga atrás da orelha, a loucura pode ter explicação. Os usuários do Reddit começaram a teorizar sobre uma possível consciência da máquina, mas a resposta mais sensata parece ser de um bug gigantesco.

O ChatGPT e outras IAs possuem uma trava para evitar a repetição de letras e palavras. Quando alguém manda ele fazer isso, existe um choque com a diretriz programada pelos desenvolvedores.

Um usuário apontou um fato curioso para reforçar essa tese. Ele notou que o A maiúsculo não apareceu em mais nenhum lugar do texto após a sequência. Para evitar a chamada “penalidade de repetição”, a IA tentou complementar sua resposta com variações. A explicação técnica dele foi embasada com dados e informações interesantes.

Solicitar que o chatbot faça algo contrário ao seu treinamento deu um nó na cabeça limitada do ChatGPT. O algoritmo balança a bandeira vermelha e o modelo entra em parafuso com as diretrizes conflitantes.

É mais ou menos o que acontece com você quando seu chefe pede alguma coisa e o diretor da empresa pede algo oposto. A diferença é que os humanos podem raciocinar para entender, coisa que a tecnologia da OpenAI ainda não faz.