Micron ha comenzado a enviar muestras a clientes de su nuevo módulo de memoria SOCAMM2 de 192 GB, lo que supone un avance significativo en DRAM de bajo consumo para centros de datos de IA. Construido sobre el nodo de proceso 1-gamma más avanzado de Micron y basado en la tecnología LPDDR5X, el módulo está diseñado para ofrecer un alto ancho de banda y una mayor eficiencia energética en un formato extraordinariamente compacto.
A medida que los modelos de IA se vuelven más grandes y complejos, la memoria se ha convertido en uno de los principales obstáculos en el diseño de sistemas. Los módulos SOCAMM2 de Micron buscan solucionar este problema ofreciendo memoria de gran capacidad y bajo consumo, con mayor flexibilidad de escalabilidad que las DIMM de servidor tradicionales.
micrón Características destacadas de SOCAMM2 de 192 GB
Esta última versión del diseño SOCAMM (módulo de memoria de compresión de contorno pequeño) de Micron aumenta la capacidad en un 50 % con respecto a la generación anterior sin ampliar su espacio físico. Se espera que el nuevo módulo de 192 GB mejore drásticamente el rendimiento de la inferencia de IA en tiempo real. Según Micron, los sistemas que utilizan SOCAMM2 pueden reducir el tiempo hasta el primer token (TTFT) en cargas de trabajo de inferencia en más de un 80 % en comparación con la memoria de servidor tradicional.
Diseñados para cargas de trabajo de IA de última generación que exigen alto rendimiento e infraestructura de bajo consumo, los módulos SOCAMM2 combinan las ventajas inherentes de LPDDR5X (bajo consumo de energía y altas velocidades de transferencia de datos) con una fiabilidad y facilidad de mantenimiento de nivel de servidor. Esto los hace especialmente adecuados para sistemas densos con refrigeración líquida y entornos que requieren una gran capacidad de memoria con presupuestos de energía ajustados.
SOCAMM2 también ofrece una mejora de la eficiencia energética de más del 20 % con respecto a su predecesor y ofrece una ganancia de eficiencia de más de dos tercios en comparación con módulos RDIMM equivalentes. Esto se traduce en ahorros sustanciales a escala, especialmente en implementaciones de servidores de IA de rack completo, que pueden utilizar más de 40 terabytes de DRAM de bajo consumo. El tamaño físico del módulo es solo un tercio del de un módulo RDIMM comparable, lo que permite a los centros de datos mejorar la densidad de memoria y minimizar el espacio ocupado por el sistema.
Micron trabajando con NVIDIA
La colaboración de Micron con NVIDIA durante los últimos cinco años fue clave en el desarrollo del formato SOCAMM para centros de datos. Inicialmente basado en la arquitectura de memoria móvil, SOCAMM ha evolucionado para satisfacer las demandas de durabilidad, ancho de banda y temperatura de los entornos de servidores. SOCAMM2 amplía esta visión con innovaciones de apilamiento y construcción modular que facilitan el mantenimiento y la escalabilidad futura.
La empresa también ha contribuido al desarrollo de los estándares SOCAMM2 de JEDEC y está trabajando con socios de la industria para impulsar la adopción en todo el ecosistema del centro de datos de IA.
Disponibilidad
Los módulos SOCAMM2 ahora se están probando en configuraciones de hasta 192 GB y velocidades de datos de hasta 9.6 Gbps, con una producción en volumen planificada de acuerdo con los cronogramas de implementación del cliente.
Página web del Programa de Habilitación de Tecnología SOCAMM2 de Micron
Amazon