OpenAI Orion, o modelo de IA de próxima geração da empresa, está atingindo barreiras de desempenho que expõem limitações nas abordagens tradicionais de escalonamento. Fontes familiarizadas com o assunto revelam que a Orion está a proporcionar ganhos de desempenho menores do que os seus antecessores, levando a OpenAI a repensar a sua estratégia de desenvolvimento.
Os primeiros testes revelam melhorias de estabilização
Os testes iniciais dos funcionários indicam que OpenAI Orion alcançou desempenho de nível GPT-4 após completar apenas 20% de seu treinamento. Embora isso possa parecer impressionante, é importante observar que os estágios iniciais do treinamento em IA normalmente produzem as melhorias mais dramáticas. É improvável que os 80% restantes do treinamento produzam avanços significativos, sugerindo que o OpenAI Orion pode não ultrapassar o GPT-4 por uma ampla margem.
“Alguns pesquisadores da empresa acreditam que o Orion não é confiávelmente melhor que seu antecessor no tratamento de certas tarefas”, relatou A informação. “O Orion tem melhor desempenho em tarefas linguísticas, mas pode não superar os modelos anteriores em tarefas como codificação, de acordo com um funcionário da OpenAI.”
O dilema da escassez de dados
Os desafios da OpenAI com a Orion destacam uma questão fundamental na indústria de IA: a oferta cada vez menor de dados de treinamento de alta qualidade. Uma pesquisa publicada em junho prevê que as empresas de IA esgotarão os dados públicos de texto gerados por humanos disponíveis entre 2026 e 2032. Esta escassez marca um ponto de inflexão crítico para as abordagens tradicionais de desenvolvimento, forçando empresas como a OpenAI a explorar métodos alternativos.
“Nossas descobertas indicam que as tendências atuais de desenvolvimento de LLM não podem ser sustentadas apenas através do escalonamento convencional de dados”, disse a pesquisa. estados de papel. Isto sublinha a necessidade de geração de dados sintéticos, transferência de aprendizagem e utilização de dados não públicos para melhorar o desempenho do modelo.
Estratégia de desenvolvimento dual-track da OpenAI
Para enfrentar estes desafios, a OpenAI está a reestruturar a sua abordagem, separando o desenvolvimento do modelo em duas vertentes distintas. A Série O, codinome Strawberry, concentra-se nas capacidades de raciocínio e representa uma nova direção na arquitetura de modelos. Esses modelos operam com intensidade computacional significativamente maior e são explicitamente projetados para tarefas complexas de resolução de problemas.
Paralelamente, os modelos Orion – ou a série GPT – continuam a evoluir, concentrando-se no processamento geral de linguagem e nas tarefas de comunicação. O diretor de produtos da OpenAI, Kevin Weil, confirmou essa estratégia durante uma AMA, afirmando: “Não é um ou outro, são ambos – melhores modelos básicos e mais cálculo de tempo de inferência/escalamento de morango”.
Dados sintéticos: uma faca de dois gumes
A OpenAI está explorando a geração de dados sintéticos para lidar com a escassez de dados do OpenAI Orion. No entanto, esta solução introduz novas complicações na manutenção da qualidade e confiabilidade do modelo. Modelos de treinamento em conteúdo gerado por IA podem levar a ciclos de feedback que amplificam imperfeições sutis, criando um efeito complexo que é cada vez mais difícil de detectar e corrigir.
Os pesquisadores descobriram que depender fortemente de dados sintéticos pode causar a degradação dos modelos com o tempo. A equipe de Fundações da OpenAI está desenvolvendo novos mecanismos de filtragem para manter a qualidade dos dados, implementando técnicas de validação para distinguir entre conteúdo sintético de alta qualidade e conteúdo potencialmente problemático. Eles também estão explorando abordagens de treinamento híbrido que combinam conteúdo humano e gerado por IA para maximizar os benefícios e minimizar as desvantagens.
OpenAI Orion ainda está em seus estágios iniciais, com um trabalho de desenvolvimento significativo pela frente. O CEO Sam Altman indicou que não estará pronto para implantação neste ano ou no próximo. Este cronograma estendido pode ser vantajoso, permitindo que os pesquisadores abordem as limitações atuais e descubram novos métodos para aprimorar o modelo.
Enfrentando expectativas acrescidas após uma recente ronda de financiamento de 6,6 mil milhões de dólares, a OpenAI pretende superar estes desafios inovando a sua estratégia de desenvolvimento. Ao enfrentar de frente o dilema da escassez de dados, a empresa espera garantir que o OpenAI Orion terá um impacto substancial no seu eventual lançamento.
Crédito da imagem em destaque: Jonathan Kemper/Unsplash
