Fabricantes de chips Nvidia e Groq entrou um acordo de licenciamento de tecnologia não exclusivo na semana passada para acelerar e reduzir o custo de execução de grandes modelos de linguagem pré-treinados usando chips de unidade de processamento de linguagem da Groq. Os chips da unidade de processamento de linguagem da Groq potencializam consultas de chatbot em tempo real durante o estágio de inferência das operações de IA, diferente do processo de treinamento do modelo. Esses chips permitem que modelos de IA gerem respostas rapidamente em aplicações como chatbots. Os chips da Nvidia atualmente cuidam de grande parte da fase de treinamento de IA em toda a indústria. A inferência representa um gargalo que a Nvidia não controla totalmente. Os chips da Groq visam especificamente esse estágio de inferência, onde os modelos de IA aplicam o conhecimento adquirido no treinamento para produzir resultados em novos dados. A Groq projeta seus chips para inferência para mover modelos de IA da experimentação em laboratório para a implantação prática. A inferência ocorre após o treinamento, quando os modelos processam entradas invisíveis para fornecer resultados em cenários do mundo real. Os investidores direcionam fundos para startups de inferência para conectar a pesquisa de IA com aplicações cotidianas em larga escala. O repórter da Axios, Chris Metinko, cobriu essa tendência de investimento no início deste ano. Recursos aprimorados de inferência permitem que as empresas busquem projetos empresariais adicionais de IA em escalas maiores. Estas iniciativas aumentam a procura por processos de formação, o que por sua vez aumenta a necessidade de chips de formação da Nvidia. Os modelos de IA funcionam em duas fases: treinamento e inferência. Durante o treinamento, os modelos processam extensos conjuntos de dados, incluindo texto, imagens e vídeo, para construir representações internas do conhecimento. Na fase de inferência, os modelos identificam padrões em dados anteriormente não vistos e produzem respostas a solicitações específicas com base nesses padrões. Esse processo se assemelha a um aluno que estuda o material para um exame e depois aplica esse conhecimento durante o teste. Groq originado em 2016 sob a liderança fundadora de Jonathan Ross. A empresa não tem nenhuma relação com o chatbot xAI de Elon Musk chamado Grok. Jonathan Ross, o presidente da Groq, Sunny Madra, e outros funcionários selecionados planejam ingressar na Nvidia, conforme declarado em Site da Groq. A Groq pretende manter operações independentes após essas transições. O acordo constitui um “acordo de licenciamento de tecnologia de inferência não exclusivo”. Este arranjo se assemelha a uma aquisição ou aquisição. Stacy Rasgon descreveu a estrutura em nota aos clientes como mantendo a ficção da concorrência, segundo CNBC. As empresas empregam essas estruturas de acordo para navegar nas análises antitruste e, ao mesmo tempo, garantir pessoal especializado em IA.
- Exemplo da Microsoft: Recrutou Mustafa Suleyman, cofundador da DeepMind.
- Exemplo do Google: Reengajamos Noam Shazeer, co-inventor da arquitetura Transformer central para modelos GPT.
Jonathan Ross, agora migrando para a Nvidia, desenvolveu anteriormente a Unidade de Processamento Tensor do Google, conhecida como TPU. Os custos de implantação determinam até que ponto as empresas utilizam modelos desenvolvidos através de esforços de formação anteriores.
