A Micron começou a enviar amostras para clientes do seu novo módulo de memória SOCAMM2 de 192 GB, marcando um avanço significativo em DRAM de baixo consumo para data centers de IA. Construído no nó de processo 1-gamma mais avançado da Micron e baseado na tecnologia LPDDR5X, o módulo foi projetado para oferecer alta largura de banda e maior eficiência energética em um formato notavelmente compacto.
À medida que os modelos de IA se tornam maiores e mais complexos, a memória se tornou um dos maiores gargalos no design de sistemas. Os módulos SOCAMM2 da Micron visam solucionar esse problema, oferecendo memória de alta capacidade e baixo consumo de energia, com escalabilidade mais flexível do que os DIMMs de servidor tradicionais.
mícron Destaques do SOCAMM2 de 192 GB
Esta mais recente iteração do design do SOCAMM (módulo de memória anexada por compressão de pequeno contorno) da Micron aumenta a capacidade em 50% em relação à geração anterior, sem expandir seu espaço físico. Espera-se que o novo módulo de 192 GB melhore drasticamente o desempenho de inferência de IA em tempo real. De acordo com a Micron, os sistemas que utilizam o SOCAMM2 podem reduzir o tempo até o primeiro token (TTFT) em cargas de trabalho de inferência em mais de 80% em comparação com a memória de servidor tradicional.
Projetados para cargas de trabalho de IA de última geração que exigem alta taxa de transferência e infraestrutura com baixo consumo de energia, os módulos SOCAMM2 combinam as vantagens inerentes do LPDDR5X (baixo consumo de energia e altas taxas de transferência de dados) com confiabilidade e facilidade de manutenção de nível de servidor. Isso os torna particularmente adequados para sistemas densos e refrigerados a líquido, além de ambientes que exigem capacidade de memória significativa com orçamentos de energia limitados.
O SOCAMM2 também oferece mais de 20% de melhoria na eficiência energética em relação ao seu antecessor e proporciona um ganho de eficiência de mais de dois terços em comparação com RDIMMs equivalentes. Isso resulta em economias substanciais em escala, especialmente em implantações de servidores de IA em rack completo, que podem usar mais de 40 terabytes de DRAM de baixo consumo. O tamanho físico do módulo é apenas um terço do tamanho de um RDIMM comparável, permitindo que os data centers melhorem a densidade de memória e, ao mesmo tempo, minimizem o espaço ocupado pelo sistema.
Micron trabalhando com NVIDIA
A colaboração da Micron com a NVIDIA nos últimos cinco anos desempenhou um papel fundamental no desenvolvimento do formato SOCAMM para uso em data centers. Baseado inicialmente na arquitetura de memória móvel, o SOCAMM evoluiu para atender às demandas de durabilidade, largura de banda e temperatura dos ambientes de servidor. O SOCAMM2 amplia essa visão com inovações em empilhamento e construção modular que facilitam a manutenção e a escalabilidade futura.
A empresa também contribuiu para o desenvolvimento dos padrões SOCAMM2 da JEDEC e está trabalhando com parceiros do setor para impulsionar a adoção em todo o ecossistema de data center de IA.
Disponibilidade
Os módulos SOCAMM2 agora estão sendo amostrados em configurações de até 192 GB e taxas de dados de até 9.6 Gbps, com produção em volume planejada de acordo com os cronogramas de implantação do cliente.
Página da Web do Programa de Capacitação de Tecnologia Micron SOCAMM2
Amazon