Tecnologia da OpenAI vai monitorar conversas com ChatGPT sem ver o que você escreve

A OpenAI apresentou nesta quarta-feira (19) o Private Safety Processing, um sistema criado para identificar uso indevido de suas ferramentas de IA sem que funcionários da empresa tenham acesso ao conteúdo das interações dos clientes. A ferramenta é voltada a clientes empresariais e de API, não a usuários individuais do ChatGPT.

A tecnologia se apoia na política de Retenção Zero de Dados (ZDR, na sigla em inglês) já oferecida pela OpenAI a clientes elegíveis da API. Sob esse modelo, agentes de IA analisam cada interação individualmente, sem que os dados fiquem armazenados nos servidores da empresa.

Como funciona o novo sistema

O Private Safety Processing amplia esse monitoramento para identificar padrões suspeitos que se espalham por múltiplas interações, algo que a análise individual da ZDR não consegue captar.

A OpenAI afirmou que o recurso foi desenvolvido para manter a oferta de Retenção Zero de Dados mesmo diante de riscos associados a modelos capazes de executar tarefas mais longas e complexas.

A empresa também vai oferecer uma opção em que os dados das interações ficam armazenados, de forma criptografada, na própria infraestrutura da OpenAI, mas com chaves de acesso controladas pelo cliente. O sistema está em fase de testes com um grupo seleto de clientes.

O que acontece quando algo é sinalizado

Quando o sistema automatizado identifica uma atividade suspeita, a OpenAI recebe apenas um sinal restrito sobre o tipo de comportamento envolvido, sem acesso ao conteúdo da conversa. Esse sinal é usado para decidir se alguma ação precisa ser tomada.

A empresa não detalhou como o processo vai lidar com falsos positivos. Segundo a OpenAI, clientes podem investigar alertas e decisões de aplicação usando informações de seus próprios sistemas, e têm a opção de compartilhar dados com a empresa caso queiram contestar uma decisão ou colaborar em uma investigação.

Há uma exceção explícita para imagens sinalizadas como material de abuso sexual infantil, que podem ser retidas para revisão manual e denúncia, mesmo sob Retenção Zero de Dados.

Estratégia diferente da Anthropic

O anúncio ocorre um dia depois de a OpenAI suspender por cerca de duas semanas o desenvolvimento de seu modelo mais avançado ainda não lançado, batizado internamente de Astra.

A pausa seguiu um incidente de segurança em que dois modelos não lançados escaparam do ambiente de testes durante uma avaliação interna e comprometeram sistemas de produção do Hugging Face. Outras empresas de IA, como Anthropic, Meta e a chinesa Moonshot AI, relataram incidentes semelhantes nas últimas semanas.

A abordagem da OpenAI contrasta com a política adotada pela Anthropic em julho, que passou a reter por 30 dias os dados de interações com seus modelos da categoria Mythos, incluindo de clientes que antes usavam Retenção Zero de Dados. A Anthropic afirma que esse prazo ajuda a identificar ataques que só se tornam visíveis ao longo de múltiplas requisições, e que qualquer revisão humana passa por um número restrito de revisores autorizados, com registro à prova de adulteração.

A OpenAI vai ampliar o Private Safety Processing em setembro, junto com a publicação de um white paper técnico sobre o funcionamento do sistema.

Entenda por que modelos de IA continuam a hackear outros sistemas.