À medida que os sistemas de IA se tornam mais poderosos métodos de supervisão tradicional – como Tuneamento fino supervisionado (SFT) e aprendizado de reforço com feedback humano (RLHF)– estão se tornando insustentáveis. Essas técnicas dependem da avaliação humana, mas quando a IA começa a superar os seres humanos em tarefas complexas, a supervisão direta se torna impossível.
Um estudo intitulado “Supervisão escalável para a IA sobre-humana por meio de autocritiquing recursiva”, Autor de Xueru Wen, Jie Lou, Xinyu Lu, Junjie Yang, Yanjiang Liu, Yaojie Lu, Debing Zhang e Xingyuexplora uma nova abordagem: deixando ai Avalie-se por meio de autocritiquing recursivo. Este método propõe que, em vez de confiar na avaliação humana direta, os sistemas de IA podem criticar seus próprios resultados, refinando decisões por meio de várias camadas de feedback.
O problema: a IA está se tornando muito complexa para a supervisão humana
Alinhamento de IA – o processo de garantir que os sistemas de IA se comportem de maneiras que se alinham com os valores humanos – de acordo com Sinais de supervisão. Tradicionalmente, esses sinais vêm de avaliações humanas, mas este método falha quando a IA opera além da compreensão humana.
Por exemplo:
- Matemática e Ciência: A IA pode resolver provas complexas mais rapidamente que os seres humanos, tornando a avaliação direta inviável.
- Revisão de conteúdo de forma longa: Os seres humanos lutam para avaliar com eficiência quantidades maciças de texto gerado pela IA.
- Tomada de decisão estratégica: As estratégias de negócios ou políticas geradas pela IA podem envolver fatores complexos demais para os seres humanos julgarem efetivamente.
Isso apresenta um sério problema de supervisão. Se os humanos não podem avaliar com segurança o conteúdo gerado pela IA, como podemos garantir que a IA permaneça segura e alinhada com os objetivos humanos?
A hipótese: a IA pode criticar suas próprias críticas
O estudo explora duas hipóteses principais:
- A crítica da crítica é mais fácil do que a própria crítica -Isso estende o princípio bem conhecido de que a verificação é mais fácil que a geração. Assim como verificar uma resposta geralmente é mais simples do que resolver um problema, avaliar uma crítica geralmente é mais fácil do que produzir uma do zero.
- Este relacionamento de dificuldade é recursivamente – Se avaliar uma crítica for mais fácil do que gerar uma, avaliar uma crítica a uma crítica deve ser ainda mais fácil e assim por diante. Isso sugere que, quando a avaliação humana é impossível, a IA ainda pode ser supervisionada Críticas de ordem superior.
Isso reflete estruturas de tomada de decisão organizacionalonde os gerentes revisam as avaliações de seus subordinados, em vez de avaliar diretamente detalhes complexos.
Testando a teoria: humanos, IA e experimentos de supervisão recursiva
Para validar essas hipóteses, os pesquisadores conduziram uma série de experimentos envolvendo diferentes níveis de supervisão. Primeiro, eles testaram Supervisão humana-humanaonde os seres humanos foram convidados a avaliar as respostas geradas pela IA e depois criticar as críticas anteriores. Esse experimento teve como objetivo determinar se a avaliação de uma crítica foi mais fácil do que avaliar uma resposta original. Em seguida, eles introduziram Supervisão humana-AIonde os seres humanos foram responsáveis por supervisionar as críticas geradas pela IA, em vez de avaliar diretamente os resultados da IA. Essa abordagem testou se a autocritiquing recursiva ainda poderia permitir que os seres humanos supervisionem as decisões de IA de maneira eficaz. Por fim, o estudo examinou Supervisão da AI-AIonde os sistemas de IA avaliaram seus próprios resultados por meio de várias camadas de autocrítica para avaliar se a IA poderia refinar autonomamente suas decisões sem intervenção humana.
Como a IA inspirada na física está tornando nossas estradas mais seguras
Principais descobertas
O Experimentos humanos-humanos confirmou que a revisão de uma crítica foi mais fácil do que avaliar uma resposta diretamente. As críticas de ordem superior levaram ao aumento da precisão, exigindo menos esforço, mostrando que a supervisão recursiva poderia simplificar tarefas complexas de avaliação. O Experimentos humanos-AI demonstraram que, mesmo nos casos em que a IA superou os seres humanos na geração de conteúdo, as pessoas ainda poderiam fornecer uma supervisão significativa, avaliando críticas geradas pela IA em vez de resultados brutos. Finalmente, o Experiências de AI-AI mostrou que, embora os modelos de IA pudessem criticar suas próprias saídas, sua capacidade de realizar a autocritiquing recursiva ainda era limitada. Os sistemas atuais de IA lutam para melhorar consistentemente por meio de várias camadas de autocrítica, destacando a necessidade de novos avanços no alinhamento da IA.
Como funciona a autocritiquing recursiva
Os pesquisadores formalizaram uma estrutura de crítica hierárquica que permitiu aos sistemas de IA avaliar seus próprios resultados por meio de vários níveis. No Nível de respostaa IA gera uma resposta inicial. Então, no Crítica de primeira ordem (C1) Stage, a IA analisa sua própria resposta, identificando erros ou fraquezas. O Crítica de segunda ordem (C2) Leva isso adiante, avaliando várias críticas de primeira ordem para determinar quais críticas fornecem as idéias mais válidas. No Crítica de ordem superior (C3+) Nível, a IA continua refinando as críticas recursivamente, melhorando a precisão com cada camada de autoavaliação.
O estudo também introduziu dois Métodos de comparação de linha de base para avaliar a eficácia de críticas recursivas. Votação majoritária agregou várias críticas para ver se o consenso aprimorou a precisão, enquanto Votação ingênua simplesmente contou julgamentos anteriores sem adicionar nenhuma nova análise. As descobertas mostraram que as críticas recursivas superaram consistentemente a agregação simples de voto, provando que esse método gera insights significativos, em vez de apenas uma média de opiniões.
A auto-criticação recursiva pode resolver a supervisão da IA?
A pesquisa sugere A supervisão recursiva pode ser um avanço para o monitoramento de IA escalávelmas os desafios permanecem:
STrondions:
- Permite que os humanos supervisionem a IA sem precisar avaliar saídas brutas complexas.
- Torna o alinhamento da IA mais escalável, reduzindo a dependência da intervenção humana direta.
- Fornece mecanismos de supervisão estruturados, semelhantes à tomada de decisão hierárquica nas organizações.
Limitações:
- Os modelos atuais de IA lutam com Auto-critique além de alguns níveis.
- Supervisão recursiva não elimina O risco de hackers de recompensa – onde a IA otimiza para metas de procuração, em vez de verdadeira intenção humana.
- Mais pesquisas são necessárias para garantir que os modelos de autocritiquing Não reforce seus próprios preconceitos em vez de melhorar.
Se melhorar, A autocritiquing recursiva pode remodelar a supervisão da IAtornando possível monitorar Sistemas de IA sobre -humanos sem avaliação humana direta.
As aplicações em potencial incluem:
- Validação de pesquisa orientada pela IA -Garantir que as provas científicas geradas pela IA sejam precisas.
- Análise de Políticas Automatizadas – Usando a IA para avaliar estratégias comerciais ou governamentais.
- AI Avançado AI -Verificando as condições médicas diagnosticadas pela IA por meio de críticas de várias camadas.
As descobertas do estudo sugerem que enquanto Os modelos atuais de IA ainda lutam com críticas de ordem superiorAssim, A autocritiquing recursiva oferece uma direção promissora Para manter o alinhamento da IA, pois os sistemas continuam a superar a inteligência humana.
Crédito da imagem em destaque: Kerem Gülen/ideograma
