Micron hat mit der Auslieferung von Kundenmustern seines neuen 192 GB großen SOCAMM2-Speichermoduls begonnen. Dies stellt einen bedeutenden Fortschritt im Bereich stromsparender DRAMs für KI-Rechenzentren dar. Das Modul basiert auf Microns fortschrittlichstem 1-Gamma-Prozessknoten und der LPDDR5X-Technologie und bietet hohe Bandbreite und verbesserte Energieeffizienz in einem bemerkenswert kompakten Formfaktor.
Da KI-Modelle immer größer und komplexer werden, stellt der Speicher heute einen der größten Engpässe im Systemdesign dar. Die SOCAMM2-Module von Micron lösen dieses Problem, indem sie Speicher mit großer Kapazität und geringem Stromverbrauch bieten, der flexibler skaliert werden kann als herkömmliche Server-DIMMs.
Mikron 192 GB SOCAMM2 – Highlights
Die neueste Version von Microns SOCAMM-Design (Small Outline Compression Attached Memory Module) erhöht die Kapazität im Vergleich zur Vorgängergeneration um 50 %, ohne den Platzbedarf zu vergrößern. Das neue 192-GB-Modul soll die Echtzeit-KI-Inferenzleistung deutlich verbessern. Laut Micron können Systeme mit SOCAMM2 die Time-to-First-Token (TTFT) bei Inferenz-Workloads im Vergleich zu herkömmlichem Serverspeicher um mehr als 80 % reduzieren.
SOCAMM2-Module wurden für KI-Workloads der nächsten Generation entwickelt, die hohen Durchsatz und eine energieeffiziente Infrastruktur erfordern. Sie kombinieren die inhärenten Vorteile von LPDDR5X (geringer Stromverbrauch und hohe Datenübertragungsraten) mit Zuverlässigkeit und Wartungsfreundlichkeit auf Serverniveau. Dadurch eignen sie sich besonders für dichte, flüssigkeitsgekühlte Systeme und Umgebungen, die erhebliche Speicherkapazität bei knappen Strombudgets erfordern.
SOCAMM2 bietet zudem eine um mehr als 20 % verbesserte Energieeffizienz gegenüber seinem Vorgänger und einen Effizienzgewinn von mehr als zwei Dritteln im Vergleich zu vergleichbaren RDIMMs. Dies führt zu erheblichen Einsparungen, insbesondere bei Full-Rack-KI-Server-Implementierungen, die über 40 Terabyte stromsparenden DRAM nutzen können. Die physische Größe des Moduls beträgt nur ein Drittel der eines vergleichbaren RDIMMs, sodass Rechenzentren die Speicherdichte verbessern und gleichzeitig den Systembedarf minimieren können.
Micron arbeitet mit NVIDIA zusammen
Die Zusammenarbeit von Micron mit NVIDIA in den letzten fünf Jahren spielte eine Schlüsselrolle bei der Entwicklung des SOCAMM-Formfaktors für den Einsatz in Rechenzentren. SOCAMM basierte ursprünglich auf einer mobilen Speicherarchitektur und wurde seitdem weiterentwickelt, um den Anforderungen von Serverumgebungen an Haltbarkeit, Bandbreite und Wärmeentwicklung gerecht zu werden. SOCAMM2 erweitert diese Vision um Stapelinnovationen und modularen Aufbau, die eine einfachere Wartung und zukünftige Skalierbarkeit ermöglichen.
Das Unternehmen hat außerdem zur Entwicklung der SOCAMM2-Standards durch JEDEC beigetragen und arbeitet mit Branchenpartnern zusammen, um die Einführung im gesamten KI-Rechenzentrums-Ökosystem voranzutreiben.
Verfügbarkeit
SOCAMM2-Module werden derzeit in Konfigurationen mit bis zu 192 GB und Datenraten von bis zu 9.6 Gbit/s als Muster angeboten. Die Massenproduktion ist entsprechend den Bereitstellungszeitplänen der Kunden geplant.
Amazon