Databricks apresenta DBRX, um modelo inovador de linguagem de código aberto preparado para revolucionar a compreensão da linguagem. Construído em uma arquitetura avançada, o DBRX mostra um progresso notável em tarefas como codificação e resolução de problemas matemáticos. Superando alguns modelos, você acha que eles são os melhores do mercado de LLM!
Mas o que diferencia o DBRX dos demais? Vamos nos aprofundar em seu processo de desenvolvimento e explorar os recursos interessantes que ele oferece.
O que é DBRX?
DBRX é um modelo de linguagem grande (LLM) de código aberto desenvolvido pela Databricks, com o objetivo de oferecer uma alternativa competitiva no cenário em rápida evolução da inteligência artificial. Construído sobre uma arquitetura refinada de mistura de especialistas (MoE), o DBRX demonstra avanços notáveis na compreensão da linguagem, particularmente em tarefas de programação e raciocínio matemático. Notavelmente, ele supera alguns modelos estabelecidos como o GPT-3.5 e compete razoavelmente com modelos fechados como o Gemini 1.0 Pro.
| Modelo | DBRX Instruir |
GPT-3.5 | GPT-4 | Claude 3 Haiku | Soneto de Cláudio 3 | Cláudio 3 Opus | Gêmeos 1.0 Pró | Gêmeos 1.5 Pró | Mistral Médio | Mistral Grande |
| Banco MT (inflexão corrigida, n=5) | 8,39±0,08 | – | – | 8,41±0,04 | 8,54±0,09 | 9,03±0,06 | 8,23±0,08 | – | 8,05±0,12 | 8,90±0,06 |
| MMLU 5 tiros | 73,7% | 70,0% | 86,4% | 75,2% | 79,0% | 86,8% | 71,8% | 81,9% | 75,3% | 81,2% |
| HellaSwag 10 tiros | 89,0% | 85,5% | 95,3% | 85,9% | 89,0% | 95,4% | 84,7% | 92,5% | 88,0% | 89,2% |
| HumanEval 0 tiro passar@1 (Programação) |
70,1%
temperatura=0, N=1 |
48,1% | 67,0% | 75,9% | 73,0% | 84,9% | 67,7% | 71,9% | 38,4% | 45,1% |
| GSM8k CoT maj@1 | 72,8% (5 tiros) | 57,1% (5 tiros) | 92,0% (5 tiros) | 88,9% | 92,3% | 95,0% | 86,5%
(maj1@32) |
91,7% (11 disparos) | 66,7% (5 tiros) | 81,0% (5 tiros) |
| WinoGrande 5 tiros | 81,8% | 81,6% | 87,5% | – | – | – | – | – | 88,0% | 86,7% |
O DBRX foi desenvolvido através de um processo intensivo que durou três meses, baseado em meses de pesquisa e experimentação anteriores. O treinamento foi realizado em uma infraestrutura poderosa composta por 3.072 NVIDIA H100está conectado por Infiniband de 3,2 Tbps. Aproveitando o conjunto de ferramentas do Databricks, incluindo o Unity Catalog para governança de dados, Lilac AI para exploração de dados, notebooks Apache Spark e Databricks para processamento de dados e bibliotecas de treinamento otimizadas, como MegaBlocks e LLM Foundry, o DBRX foi treinado e ajustado em milhares de GPUs usando o serviço Mosaic AI Training. Os resultados foram registrados usando o MLflow e o feedback humano foi coletado para melhoria da qualidade por meio do Mosaic AI Model Serving e Inference Tables.
Então, o que o DBRX pode fazer? Ele pode fazer muitas coisas, como responder perguntas, escrever códigos, resolver problemas matemáticos e analisar dados. Também pode ajudar na escrita, corrigindo a gramática e sugerindo melhorias. O DBRX pode compreender diferentes idiomas e até analisar sentimentos em texto. É como um assistente inteligente que pode realizar muitas tarefas que envolvem linguagem e dados. Além disso, os usuários podem personalizá-lo para necessidades específicas. O DBRX pode surpreendê-lo com seu desempenho em comparação com outros aplicativos populares. LLMs.
Acessível a desenvolvedores e empresas, o DBRX fornece o modelo básico e versões aprimoradas sob uma licença aberta, incentivando a exploração colaborativa e a inovação. A sua ênfase na eficiência tanto na formação como na inferência, juntamente com o seu tamanho gerenciável, torna-o uma solução potencialmente rentável para várias aplicações de IA.
Como usar o DBRX
O uso do DBRX é disponibilizado por vários meios fornecidos pelo Databricks:
- APIs do modelo básico: Ofertas de databricks APIs do modelo básico, que permite aos usuários interagir com o DBRX por meio de uma interface simples. Os usuários podem aproveitar essas APIs para integrar o DBRX em seus aplicativos e fluxos de trabalho.
- Interface de bate-papo do AI Playground: Para experimentação e testes rápidos, os usuários podem acessar o DBRX através do Parque de IA interface de bate-papo. Essa interface fornece um ambiente amigável para interagir com o modelo e explorar seus recursos.
No geral, ao aproveitar as ferramentas e recursos fornecidos pelo Databricks, os usuários podem incorporar facilmente o DBRX em seus fluxos de trabalho e aproveitar seus recursos para uma ampla gama de aplicações em processamento de linguagem natural e IA.
Para informações mais detalhadas, clique aqui.
Crédito da imagem em destaque: Blocos de dados
