A OpenAI revelou seu primeiro processador de inferência personalizado, chamado Jalapeño, que foi desenvolvido em colaboração com a Broadcom. O processador atende especificamente aos requisitos distintos dos sistemas de inferência da OpenAI, com a empresa afirmando que seus próprios modelos de IA contribuíram para o seu desenvolvimento.
O chip ainda está em testes, mas os primeiros resultados indicam uma melhoria significativa no desempenho por watt em relação às principais alternativas atuais. A parceria da OpenAI com a Broadcom foi anunciada oficialmente em outubro, e a criação de chips customizados tem sido vista como uma estratégia para reduzir a dependência das unidades de processamento gráfico da Nvidia.
Google e Amazon criaram chips personalizados comparáveis, denominados “aceleradores de IA”, para acelerar tarefas de aprendizado de máquina. Em um podcast interno, o presidente da OpenAI, Greg Brockman, discutiu a estratégia de desenvolvimento de chips da empresa após anunciar a parceria com a Broadcom. “Temos uma compreensão profunda da carga de trabalho”, disse Brockman. “Estamos realmente procurando por cargas de trabalho específicas que não são atendidas e [e nos perguntando] como podemos construir algo que seja capaz de acelerar o que é possível?”
O Jalapeño é adaptado para tarefas de inferência, que envolvem a aplicação de modelos de IA pré-construídos com base em comandos do usuário. Segundo a OpenAI, o chip oferece baixos custos operacionais no gerenciamento de modelos de codificação em tempo real. No entanto, processos de alto desempenho, como pré-treinamento, ainda podem exigir hardware Nvidia. Mesmo pequenas reduções nos custos de inferência poderiam aumentar significativamente a rentabilidade da OpenAI.
A otimização do sistema de inferência é fundamental para a economia futura da IA, e a empresa está expandindo as suas capacidades em toda a pilha tecnológica. A OpenAI está desenvolvendo simultaneamente produtos como Codex e os modelos que os suportam, além de estabelecer data centers para implantação de modelos. Espera-se que a mudança para o silício personalizado melhore ainda mais essas eficiências operacionais.
A OpenAI detalhou que sua estratégia abrange o design de componentes de infraestrutura, incluindo arquitetura de chip, kernels, sistemas de memória, rede, agendamento e sistemas de implantação. Essa abordagem abrangente permite a otimização em todas as camadas da tecnologia, com o objetivo de fornecer modelos mais rápidos, confiáveis e econômicos aos usuários.
