Tecnologia Micron anunciado ela está enviando amostras de clientes de seu módulo de memória SOCAMM2 de 192 GB. O novo produto, desenvolvido para data centers de IA, utiliza a tecnologia LPDDR5X para aumentar a capacidade e o desempenho e, ao mesmo tempo, reduzir o consumo de energia. O módulo, um Small Outline Compression Attached Memory Module (SOCAMM2), oferece 192 gigabytes de capacidade, a mais alta disponível para esse formato em data centers. Isto representa um aumento de capacidade de 50% em relação à geração anterior, dentro de uma área física idêntica. O design de alta densidade é fundamental para servidores de IA com espaço limitado, permitindo mais memória por sistema para suportar grandes modelos de IA. Ao concentrar a capacidade, o módulo atende diretamente aos crescentes requisitos de memória das cargas de trabalho modernas de inteligência artificial, que dependem de vastos conjuntos de dados e extensas contagens de parâmetros para funcionar de maneira eficaz. Basicamente, o SOCAMM2 usa DRAM LPDDR5X, uma tecnologia originária do setor móvel agora adaptada para uso empresarial. A memória é produzida com o processo DRAM de 1 gama da Micron, seu nó de fabricação mais avançado. Este processo produz uma melhoria na eficiência energética de mais de 20% em comparação com as gerações anteriores. A combinação da arquitetura de baixo consumo de energia do LPDDR5X com o processo de fabricação avançado cria uma solução de memória projetada especificamente para reduzir as demandas significativas de energia da computação de IA, transformando DRAM de baixo consumo de energia em um componente de classe de data center com robustez e escalabilidade aprimoradas. As métricas de desempenho incluem velocidades de transferência de dados que chegam a 9,6 gigabits por segundo (Gbps), fornecendo o rendimento necessário para evitar gargalos de dados em sistemas de IA. Um recurso principal é a economia de energia, com o módulo reduzindo o consumo de energia em mais de dois terços em comparação com implantações equivalentes de RDIMM (Módulo de memória duplo em linha registrado). Como os RDIMMs são o padrão de servidor, esta redução oferece economias operacionais substanciais. O menor consumo de energia diminui os custos de eletricidade e diminui a pressão sobre os sistemas de refrigeração dos data centers, um fator importante no custo total de propriedade e na sustentabilidade da infraestrutura. O aumento da capacidade de memória melhora diretamente o desempenho dos aplicativos de IA, especialmente para tarefas de inferência em tempo real. A disponibilidade de 192 GB em um módulo pode reduzir o “tempo até o primeiro token” (TTFT) em mais de 80%. TTFT é uma métrica de latência chave em IA generativa, medindo o atraso antes que um modelo comece a gerar uma resposta. Para serviços interativos, como assistentes de IA, esse atraso reduzido é vital. A redução significativa na latência inicial permite que os modelos de IA forneçam resultados muito mais rápidos, o que melhora a capacidade de resposta e a experiência do usuário desses aplicativos sensíveis à latência. O padrão SOCAMM2 é inerentemente modular, um design que oferece vantagens práticas para o gerenciamento de grandes ambientes computacionais. Essa modularidade melhora a capacidade de manutenção do servidor, permitindo uma substituição ou atualização mais fácil e rápida de módulos de memória individuais com tempo de inatividade mínimo do sistema. Em grandes clusters de data centers, essa manutenção simplificada é essencial para manter a alta disponibilidade. O design também cria um caminho claro para a expansão futura da capacidade, permitindo que as operadoras escalem seus recursos de memória em alinhamento com as crescentes demandas dos modelos de IA da próxima geração, protegendo assim os investimentos em hardware ao longo do tempo. O desenvolvimento da memória do servidor de baixo consumo foi um esforço conjunto com Nvidiarealizado durante um período de cinco anos. Esta parceria estratégica posiciona o SOCAMM2 como uma solução chave para plataformas de IA de próxima geração, e a colaboração sugere um design otimizado para integração no ecossistema Nvidia. O produto é direcionado especificamente ao mercado de data centers de IA, onde as demandas de memória estão aumentando devido ao aumento da IA generativa e de modelos de contexto massivo. Esses sistemas avançados de IA exigem memória vasta, rápida e altamente eficiente para operar de maneira eficaz, uma necessidade que o módulo foi projetado para atender. A Micron iniciou a amostragem do módulo de 192 GB pelos clientes, permitindo que os parceiros testem e validem a tecnologia em seus próprios sistemas. A produção de alto volume está programada para se alinhar aos cronogramas de lançamento do cliente para garantir a disponibilidade no mercado para novas implantações de servidores. A considerável eficiência energética do módulo apoia a mudança mais ampla da indústria de data centers em direção a uma infraestrutura mais sustentável e com otimização de energia. Este foco ajuda as operadoras a gerenciar os custos financeiros e ambientais associados à rápida expansão global das cargas de trabalho de inteligência artificial e às suas pegadas de hardware associadas.
