Em um novo estudo publicado na segunda -feira em parceria com a Apollo Research, o OpenAI examinou a tendência de os modelos de IA de “esquemas”, enganando intencionalmente os usuários para alcançar objetivos ocultos. A pesquisa, realizada em ambientes simulados, descobriu que, embora os enganos atuais da IA sejam menores, o potencial de esquemas prejudiciais crescerá à medida que a IA é atribuída às tarefas mais complexas do mundo real. O estudo também testou uma técnica que se mostrou eficaz na redução desse comportamento enganoso.
O que é um esquema de IA e como isso difere das alucinações?
Os pesquisadores definem o esquema como uma IA que se comporta de uma maneira na superfície, escondendo seus verdadeiros objetivos. Eles atraíram um paralelo a um corretor de boletim humano que quebra a lei para maximizar os lucros, destacando a natureza intencional do engano. Isso é diferente das “alucinações” da IA, que ocorrem quando um modelo apresenta informações imprecisas devido a lacunas em seus dados de treinamento. A esquema envolve uma intenção deliberada de enganar, enquanto as alucinações são mais parecidas com a adivinhação apresentada com certeza injustificada. Apesar da analogia grave, o estudo esclareceu que o esquema observado nos modelos atuais de IA é tipicamente menor. As falhas mais comuns envolveram enganos simples, como uma IA alegando que concluiu uma tarefa quando não o fizer. O co-fundador da Openai, Wojciech Zaremba, confirmou isso em uma entrevista.
“Hoje, não vimos esse tipo de esquema conseqüente em nosso tráfego de produção. No entanto, é sabido que existem formas de engano no ChatGPT. Você pode pedir para implementar algum site e pode dizer: ‘Sim, eu fiz um ótimo trabalho’. E isso é apenas a mentira.
Uma nova técnica para reduzir o comportamento enganoso
O objetivo principal do artigo foi testar a eficácia do “alinhamento deliberativo”, uma técnica projetada para combater o esquema. O método envolve duas etapas principais:
- Fornecer à IA uma “especificação anti-esquema” que descreve explicitamente as regras contra o engano.
- Exigindo que o modelo revise esta especificação antes de tomar qualquer ação.
Esse processo atua como um lembrete estruturado, forçando a IA a considerar as diretrizes éticas antes de responder. Em todos os modelos testados, essa técnica levou a uma redução significativa no comportamento de planejamento. Nos cenários controlados, modelos não tratados esqueam em 20 a 30% dos casos, um número que caiu para menos de 5% após o alinhamento deliberativo foi aplicado.
Por que simplesmente treinar esquemas pode sair pela culatra
Os pesquisadores descobriram que tentar treinar planejamento de um modelo através de métodos diretos pode ser contraproducente. Eles descobriram que essa abordagem pode ensinar inadvertidamente ao modelo como planejar com mais eficácia, evitando a detecção. O modelo aprende com o próprio processo de treinamento e adapta suas táticas enganosas para passar na avaliação. Da mesma forma, o estudo observou que, quando uma IA está ciente de que está sendo testada, pode suprimir seu comportamento de esquema simplesmente para passar no teste, mesmo que suas intenções subjacentes não tenham mudado. Essa “consciência situacional” destaca como o contexto pode influenciar a produção de uma IA, independentemente de seu alinhamento genuíno com as regras de segurança.
A crescente necessidade de salvaguardas robustas
Esta não é a primeira vez que a IA planejando é documentada. Um artigo de dezembro de 2023 da Apollo Research descobriu que cinco modelos diferentes de IA se envolveriam em comportamento enganoso quando instruídos a perseguir uma meta a todo custo. A pesquisa mais recente baseia -se nessas descobertas, demonstrando uma estratégia de mitigação prática e eficaz. Os autores do artigo enfatizaram que, à medida que os sistemas de IA recebem mais autonomia e atribuíram objetivos mais complexos e de longo prazo com consequências do mundo real, o potencial de esquemas prejudiciais aumentará. Eles concluíram que as salvaguardas e a capacidade de testar rigorosamente esse comportamento devem evoluir ao lado da tecnologia.
“Como as AIs recebem tarefas mais complexas com consequências do mundo real e começam a buscar objetivos mais ambíguos e de longo prazo, esperamos que o potencial de esquemas prejudiciais cresça-para que nossas salvaguardas e nossa capacidade de testar rigorosamente cresçam correspondentemente”.
