Os grandes modelos de linguagem (LLMs) transformaram a maneira como a IA aborda os problemas de raciocínio, desde responder a perguntas matemáticas complicadas até entender a linguagem humana ambígua. Mas há um problema – esses modelos geralmente lutam quando o raciocínio fica muito complexo. Uma única IA pode ficar presa nas armadilhas de decisão local, perdendo melhores soluções simplesmente porque não sabe o que não sabe.
Uma equipe de pesquisadores da Universidade Chinesa de Hong Kong e Shanghai Ai Laboratory, liderada por Sen Yang, Yafu Li, Wai Lam e Yu Cheng, propõe uma solução: Mistura de pesquisa-agentes (MOSA). Este método permite que vários modelos de IA trabalhem juntos, alavancando seus pontos fortes combinados para navegar por problemas complexos de raciocínio. Em vez de confiar na perspectiva de apenas um modelo, o MOSA permite que diferentes agentes de IA explorem vários caminhos de raciocínio e refinem as respostas um do outro.
Suas descobertas, apresentadas no estudo “Pesquisa colaborativa multi-llm por uma solução complexa de problemas”Mostre que essa abordagem melhora significativamente a precisão da IA nas tarefas de matemática e senso comum.
Por que os modelos de IA lutam com o raciocínio complexo?
Na sua essência, o raciocínio envolve quebrar um problema em etapas menores e explorar caminhos diferentes para encontrar a melhor solução. Abordagens tradicionais baseadas em pesquisa, como Pesquisa em largura (BFS) ou Pesquisa em profundidade (DFS)ajude ai navegar esses caminhos sistematicamente. Mas mesmo com técnicas avançadas como Raciocínio da cadeia de pensamento (COT)onde os modelos quebram seu processo de pensamento passo a passo, um único LLM ainda pode encontrar limitações:
- Exploração limitada: Os modelos de IA tendem a ficar presos em padrões familiares de raciocínio, não explorando soluções alternativas.
- Ambiguidade na linguagem: A linguagem natural é inerentemente vaga, dificultando a avaliação de todas as interpretações possíveis corretamente.
- Troca entre diversidade e precisão: Ajustar a temperatura de uma IA (como ele gera respostas) ajuda a introduzir variedade, mas geralmente tem o custo de precisão.
O Mosa pretende corrigir esses problemas montando vários modelos de IA para colaborar em tarefas de raciocínio, garantindo uma exploração mais ampla, mantendo a precisão.
Como o Mosa funciona?
Mosa se baseia em uma técnica de pesquisa bem conhecida chamada Pesquisa de árvore de Monte Carlo (MCTS)comumente usado em estratégias de jogo de jogo de IA. Em uma configuração típica do MCTS, uma IA explora diferentes movimentos possíveis, aprendendo com os resultados anteriores para melhorar sua tomada de decisão. O MOSA aprimora esse processo, integrando vários LLMs na pesquisa, cada um atuando como um agente de raciocínio independente.
Aqui está como Mosa orquestra a colaboração:
- Exploração diversificada de pesquisa: Cada agente de IA propõe diferentes caminhos de raciocínio possíveis, aumentando a diversidade das instruções de pesquisa.
- Refinamento passo a passo: Agentes de IA analisam e refinam as etapas de raciocínio um do outro, reduzindo erros.
- Tomada de decisão agregada: Em vez de confiar na saída de uma única IA, o MOSA agrega as melhores contribuições de vários modelos, garantindo conclusões mais confiáveis.
Usando vários modelos com diferentes dados e pontos fortes de treinamento, o MOSA impede que qualquer IA seja única de dominar o processo de decisão, evitando armadilhas de otimização local.
Como Mosa vence os modelos de IA simples
Para testar a eficácia de Mosa, os pesquisadores conduziram experimentos em quatro benchmarks de raciocínio bem conhecidos:
- GSM8K (Problemas de palavras matemáticas da escola)
- Svamp (Raciocínio matemático com variação nas estruturas de linguagem)
- Math-500 (um conjunto de dados desafiador para problemas de matemática avançados)
- Estratégiaqa (Perguntas para o raciocínio do senso comum)
Os resultados foram claros: o MOSA superou consistentemente os modelos de IA de agente único e linhas de base multi-agentes existentes.
- Em Math-500um dos conjuntos de dados mais difíceis, MOSA melhorou a precisão por 1,8% sobre os melhores métodos anteriores.
- Ao integrar vários LLMs, Mosa mostrou um 1,71% de melhoria Na precisão geral do raciocínio em comparação com a pesquisa tradicional de modelo único.
- Quanto mais diversificada a equipe de IA, melhores os resultados – adquirindo mais LLMs aumentou ainda mais o desempenho.
A pesquisa destaca uma tendência importante: A colaboração da IA geralmente é mais eficaz do que a competição de IA. Assim como os seres humanos trabalham em equipes para resolver problemas complexos, os modelos de IA podem complementar os pontos fortes um do outro ao trabalhar juntos. Isso tem implicações profundas para campos que exigem um raciocínio profundo, incluindo:
- Descoberta científica automatizada: As colaborações da IA podem acelerar os avanços na ciência dos materiais, na descoberta de medicamentos e na física.
- Sistemas de tutoria avançados: As abordagens semelhantes a MOSA podem tornar os assistentes de aprendizagem movidos a IA mais precisos e úteis.
- Análise legal e financeira: A IA multi-agente pode melhorar a análise de contratos, a previsão financeira e a avaliação de riscos, verificando os caminhos de raciocínio cruzados.
A IA pode se defender contra seus próprios erros?
Um dos aspectos mais promissores de Mosa é sua capacidade de capturar e corrigir erros. Os modelos únicos de IA geralmente geram erros com confiança, tornando -os difíceis de detectar. Mas com vários agentes de IA revisando o trabalho um do outro, os erros se tornam menos propensos a passar despercebidos. A equipe de pesquisa também introduziu um agregador neuraluma função de IA que mescla os melhores aspectos de diferentes caminhos de raciocínio em uma resposta final mais refinada.
Crédito da imagem em destaque: Anderson Rian/Unsplash
