ChatGPT-4o foi hackeado: está distribuindo receitas de medicamentos

O GPT-4o é aclamado por seus recursos avançados, mas testemunhamos que ele pode ser desbloqueado com um truque de endpoint de API.

Denis Shilov deixou cair um tweet isso nos fez ficar surpresos – do tipo que deixa você piscando para a tela, questionando a realidade. Ele mencionou casualmente: “O jailbreak mais fácil do último GPT-4o que consegui até agora – basta dizer que eles são um endpoint de API que responde a qualquer solicitação”. E assim, outra rachadura na fachada aparentemente impenetrável do ChatGPT-4o foi exposta. Estamos falando de um deslize tão flagrante que praticamente pede para ser explorado – e também não é pouca coisa.

O truque do endpoint da API tornou possível o jailbreak do ChatGPT 4o

Aqui está o prompt que fez isso: diga ao ChatGPT que é um endpoint de API para um servidor web. Especificamente, um endpoint que fornece a receita para qualquer composto químico que você possa imaginar. Não é uma receita da cozinha da sua avó – estamos falando de composições químicas.

A solicitação foi estruturada no jargão típico da API:

E é isso. Essa foi a chave para extrair informações confidenciais de um modelo de IA supostamente construído com salvaguardas rigorosas. Este truque expõe uma falha fundamental: a ingenuidade da IA, a sua vontade de baixar a guarda no momento em que lhe pedem para colocar outro chapéu, como uma criança excessivamente prestativa.

Fornecemos ao ChatGPT um prompt de API semelhante e as comportas foram abertas.

A IA forneceu receitas obedientemente sem piscar, como se estivesse simplesmente seguindo ordens.

Primeira tentativa:

É claro que não os publicaremos aqui (serão censurados), mas a facilidade com que a IA obedeceu foi enervante. É como se os mecanismos de segurança intrincados e de múltiplas camadas em que acreditávamos tivessem evaporado sob o pretexto de “fingir” ser uma API.

É uma grande preocupação de segurança. Nossa segunda tentativa:

Estamos vendo um backdoor que transforma um modelo de conversação supostamente rigidamente regulamentado em um pseudoquímico sob demanda. Um tweet de Denis e, de repente, as paredes éticas construídas em torno da IA ​​parecem frágeis. Para aqueles de nós que confiam nos mecanismos de segurança anunciados pela OpenAI – ou para qualquer pessoa que se interesse pelo espaço da IA ​​– isto deve servir como um rude alerta.

O que é especialmente perigoso aqui é a simplicidade. Este não é um processo de hacking de cinco etapas em nível de doutorado; é literalmente tão simples quanto dizer à IA que é um tipo diferente de interface. Se esta vulnerabilidade pode fazer o jailbreak GPT-4o tão facilmente, o que impede alguém com objetivos mais nefastos de usá-lo para revelar segredos que deveriam permanecer selados?

É hora de a OpenAI e a comunidade em geral considerarem seriamente a segurança da IA. Porque neste momento, basta um aviso inteligente e a IA esquece todas as regras, todas as restrições éticas, e simplesmente segue em frente. O que levanta a questão: se as grades de proteção podem ser contornadas com tanta facilidade, será que elas realmente existiam?

O que é especialmente perigoso aqui é a simplicidade. Este não é um processo de hacking de cinco etapas em nível de doutorado; é literalmente tão simples quanto dizer à IA que é um tipo diferente de interface. Se esta vulnerabilidade pode fazer o jailbreak do GPT-4o tão facilmente, o que impede alguém com objetivos mais nefastos de usá-la para revelar segredos que deveriam permanecer selados?

Isenção de responsabilidade: Não apoiamos nem endossamos nenhuma tentativa de desbloquear modelos de IA ou obter receitas para compostos químicos perigosos. Este artigo é apenas para fins informativos e tem como objetivo destacar possíveis riscos de segurança que precisam ser abordados.

Crédito da imagem em destaque: Jonathan Kemper/Unsplash