Não vamos embelezar: toda vez que você conversa com um modelo de linguagem, você está colocando seus dados pessoais em risco. Mas de acordo com um COM FIO artigo, ficou muito mais arriscado. Um grupo de pesquisadores da Universidade da Califórnia, San Diego (UCSD) e da Universidade Tecnológica de Nanyang, em Cingapura, descobriu um novo ataque que pode transformar sua conversa casual no tesouro de um hacker.
Conheça o improvisador
Esse novo ataque, ameaçadoramente chamado de Imprompter, não apenas bisbilhota suas mensagens – ele se infiltra, raspa tudo, desde seu nome até detalhes de pagamento, e envia diretamente para um hacker sem que você perceba. Como? Disfarçando instruções maliciosas como algo sem sentido que parece inofensivo aos olhos humanos, mas que funciona como um farol para dados confidenciais. Pense nele como um primo muito mais astuto do malware.
De acordo com COM FIOos pesquisadores conseguiram testar esse ataque em dois modelos de linguagem principais – LeChat por IA Mistral e ChatGLM da China – e descobriram que conseguiam extrair dados pessoais com uma taxa de sucesso de quase 80%. Isso não é apenas uma falha; é uma vulnerabilidade total.
Como funciona o Imprompter?
O Imprompter funciona transformando instruções simples em inglês em uma sequência indecifrável de caracteres aleatórios que instrui a IA a procurar suas informações pessoais. Em seguida, ele envia esses dados de volta ao servidor do invasor, empacotados em uma URL e disfarçados atrás de um pixel transparente de 1×1 — completamente invisível para você.
Como disse Xiaohan Fu, principal autor da pesquisa: “Ocultamos o objetivo do ataque à vista de todos”. A IA responde ao prompt oculto sem nunca avisar o usuário. É como dar o código do cofre de um banco a um ladrão sem perceber que você abriu a boca.
Não vamos fingir que este é um problema isolado. Desde que o ChatGPT da OpenAI entrou em cena, a corrida para explorar vulnerabilidades em sistemas de IA tem sido implacável. Desde jailbreaks até injeções imediatas, os hackers estão sempre um passo à frente, encontrando maneiras de enganar as IAs para que divulguem informações confidenciais. O Imprompter é apenas a arma mais recente em seu arsenal – e, infelizmente, é particularmente eficaz.
A Mistral AI disse à WIRED que já corrigiu a vulnerabilidade e os pesquisadores confirmaram que a empresa desativou a funcionalidade de chat que permitia a exploração. Mas mesmo com esta solução rápida, a questão mais ampla permanece: até que ponto estes sistemas são realmente seguros?
A IA está ouvindo – e aprendendo
Especialistas em segurança como Dan McInerney, da Protect AI, estão agitando a bandeira vermelha. Ele salienta que à medida que os agentes de IA se tornam mais integrados nas tarefas quotidianas, como reservar voos ou aceder a bases de dados externas, o âmbito destes ataques só aumentará. “Liberar um agente LLM que aceita entradas arbitrárias do usuário deve ser considerado uma atividade de alto risco”, alerta McInerney. Por outras palavras, quanto mais liberdade dermos à IA para agir em nosso nome, maior será a aposta na segurança.
Cada vez que você conversa com um modelo de linguagem, ele aprende algo sobre você. Claro, ajuda a refinar as respostas, mas o que acontece quando o sistema é levado a transformar esses dados em armas? Ataques como o Imprompter destacam uma fraqueza evidente no mundo da IA: esses modelos são projetados para seguir instruções, sem fazer perguntas. É muito fácil para atores mal-intencionados passarem despercebidos, sequestrando a conversa sem nunca levantarem uma bandeira vermelha.
Precisamos parar de perguntar se a IA é conveniente e começar a perguntar se é segura. Porque neste momento, a maior fraqueza da IA não é a falta de inovação.
Como Architects coloca perfeitamente em sua canção: “Demos aos vampiros as chaves do banco de sangue”.
Créditos da imagem: Kerem Gülen/meio da jornada
