Micron is begonnen met het verzenden van klantmonsters van zijn nieuwe 192GB SOCAMM2-geheugenmodule, wat een aanzienlijke vooruitgang betekent in energiezuinig DRAM voor AI-datacenters. De module is gebaseerd op Microns meest geavanceerde 1-gamma-procesknooppunt en LPDDR5X-technologie. De module levert een hoge bandbreedte en verbeterde energie-efficiëntie in een opmerkelijk compacte vormfactor.
Naarmate AI-modellen groter en complexer worden, is geheugen een van de grootste knelpunten in systeemontwerp. De SOCAMM2-modules van Micron proberen dit probleem aan te pakken door geheugen met een grote capaciteit en laag stroomverbruik te bieden dat flexibeler kan worden geschaald dan traditionele server-DIMM's.
Micron 192GB SOCAMM2 Hoogtepunten
Deze nieuwste versie van Microns SOCAMM-ontwerp (Small Outline Compression Attached Memory Module) verhoogt de capaciteit met 50% ten opzichte van de vorige generatie, zonder de fysieke omvang te vergroten. De nieuwe module van 192 GB zal naar verwachting de prestaties van realtime AI-inferentie aanzienlijk verbeteren. Volgens Micron kunnen systemen die SOCAMM2 gebruiken de time-to-first-token (TTFT) in inferentieworkloads met meer dan 80% verkorten in vergelijking met traditioneel servergeheugen.
SOCAMM2-modules zijn ontworpen voor AI-workloads van de volgende generatie die een hoge doorvoersnelheid en een energiebewuste infrastructuur vereisen, en combineren de inherente voordelen van LPDDR5X (laag stroomverbruik en hoge gegevensoverdrachtssnelheden) met betrouwbaarheid en onderhoudbaarheid op serverniveau. Dit maakt ze bijzonder geschikt voor compacte, vloeistofgekoelde systemen en omgevingen die een aanzienlijke geheugencapaciteit vereisen met een beperkt stroomverbruik.
SOCAMM2 biedt bovendien een verbetering van meer dan 20% in energie-efficiëntie ten opzichte van zijn voorganger en levert een efficiëntiewinst van meer dan twee derde op ten opzichte van vergelijkbare RDIMM's. Dit resulteert in aanzienlijke besparingen op schaal, met name bij full-rack AI-serverimplementaties, die meer dan 40 terabyte aan energiezuinig DRAM kunnen gebruiken. De fysieke grootte van de module is slechts een derde van die van een vergelijkbare RDIMM, waardoor datacenters de geheugendichtheid kunnen verbeteren en tegelijkertijd de systeemvoetafdruk kunnen minimaliseren.
Micron werkt samen met NVIDIA
De samenwerking van Micron met NVIDIA in de afgelopen vijf jaar speelde een belangrijke rol bij de ontwikkeling van de SOCAMM-vormfactor voor datacentergebruik. SOCAMM, oorspronkelijk gebaseerd op een mobiele geheugenarchitectuur, heeft zich sindsdien ontwikkeld om te voldoen aan de duurzaamheid, bandbreedte en thermische eisen van serveromgevingen. SOCAMM2 breidt deze visie uit met stackinginnovaties en modulaire constructie die eenvoudiger onderhoud en toekomstige schaalbaarheid ondersteunen.
Het bedrijf heeft ook bijgedragen aan de ontwikkeling van SOCAMM2-normen door JEDEC en werkt samen met partners uit de industrie om de acceptatie binnen het AI-datacenterecosysteem te bevorderen.
Beschikbaarheid
SOCAMM2-modules worden nu geproduceerd in configuraties tot 192 GB en met gegevenssnelheden tot 9.6 Gbps. De volumeproductie wordt gepland in lijn met de implementatietijdlijnen van de klant.
Webpagina van het Micron SOCAMM2 Technology Enablement Program
Amazon