Micron a commencé à livrer des échantillons clients de son nouveau module mémoire SOCAMM2 de 192 Go, marquant une avancée significative dans le domaine de la DRAM basse consommation pour les centres de données d'IA. Construit sur le nœud de processus 1-gamma le plus avancé de Micron et basé sur la technologie LPDDR5X, ce module offrira une bande passante élevée et une efficacité énergétique améliorée dans un format remarquablement compact.
À mesure que les modèles d'IA gagnent en taille et en complexité, la mémoire constitue désormais l'un des principaux points d'étranglement de la conception système. Les modules SOCAMM2 de Micron visent à résoudre ce problème en proposant une mémoire de grande capacité et basse consommation, évolutive avec plus de flexibilité que les modules DIMM traditionnels pour serveurs.
micron Points forts du SOCAMM2 192 Go
Cette dernière version du module mémoire SOCAMM (Small Outline Compression Attached Memory Module) de Micron augmente la capacité de 50 % par rapport à la génération précédente sans accroître l'encombrement physique. Ce nouveau module de 192 Go devrait améliorer considérablement les performances d'inférence IA en temps réel. Selon Micron, les systèmes utilisant SOCAMM2 peuvent réduire le temps de réponse du premier jeton (TTFT) dans les charges de travail d'inférence de plus de 80 % par rapport à la mémoire serveur traditionnelle.
Conçus pour les charges de travail d'IA de nouvelle génération exigeant un débit élevé et une infrastructure économe en énergie, les modules SOCAMM2 allient les avantages intrinsèques de la LPDDR5X (faible consommation d'énergie et débits de transfert de données élevés) à une fiabilité et une facilité d'entretien dignes d'un serveur. Ils sont donc particulièrement adaptés aux systèmes et environnements denses à refroidissement liquide nécessitant une capacité mémoire importante et des budgets énergétiques serrés.
Le module SOCAMM2 offre également une amélioration de l'efficacité énergétique de plus de 20 % par rapport à son prédécesseur et un gain d'efficacité de plus des deux tiers par rapport aux modules RDIMM équivalents. Cela se traduit par des économies substantielles à grande échelle, notamment pour les déploiements de serveurs IA en rack complet, qui peuvent utiliser plus de 40 téraoctets de DRAM basse consommation. La taille physique du module ne représente qu'un tiers de celle d'un module RDIMM comparable, ce qui permet aux centres de données d'améliorer la densité mémoire tout en minimisant l'encombrement du système.
Micron travaille avec NVIDIA
La collaboration de Micron avec NVIDIA au cours des cinq dernières années a joué un rôle clé dans le développement du format SOCAMM pour les centres de données. Initialement basé sur une architecture mémoire mobile, SOCAMM a depuis évolué pour répondre aux exigences de durabilité, de bande passante et de température des environnements serveurs. SOCAMM2 étend cette vision grâce à des innovations en matière d'empilement et de construction modulaire qui facilitent la maintenance et l'évolutivité future.
L'entreprise a également contribué au développement des normes SOCAMM2 par le JEDEC et travaille avec des partenaires de l'industrie pour favoriser l'adoption dans l'ensemble de l'écosystème des centres de données d'IA.
Disponibilité
Les modules SOCAMM2 sont désormais échantillonnés dans des configurations allant jusqu'à 192 Go et des débits de données allant jusqu'à 9.6 Gbps, avec une production en volume prévue en fonction des délais de déploiement des clients.
Page Web du programme d'activation technologique Micron SOCAMM2
Amazon