Micron har börjat leverera kundprover av sin nya 192 GB SOCAMM2-minnesmodul, vilket markerar ett betydande framsteg inom lågenergi-DRAM för AI-datacenter. Modulen är byggd på Microns mest avancerade 1-gamma-processnod och baserad på LPDDR5X-teknik, och är redo att leverera hög bandbredd och förbättrad energieffektivitet i ett anmärkningsvärt kompakt formfaktor.
I takt med att AI-modeller blir större och mer komplexa är minne nu en av de största begränsningarna inom systemdesign. Microns SOCAMM2-moduler syftar till att ta itu med denna fråga genom att erbjuda minne med hög kapacitet och låg strömförbrukning som kan skalas mer flexibelt än traditionella server-DIMM-moduler.
Micron 192 GB SOCAMM2-höjdpunkter
Denna senaste version av Microns SOCAMM-design (small outline compression attached memory module) ökar kapaciteten med 50 % jämfört med föregående generation utan att utöka dess fysiska yta. Den nya modulen på 192 GB förväntas dramatiskt förbättra prestandan för AI-inferens i realtid. Enligt Micron kan system som använder SOCAMM2 minska tiden till första token (TTFT) i inferensarbetsbelastningar med mer än 80 % jämfört med traditionellt serverminne.
SOCAMM2-moduler är utformade för nästa generations AI-arbetsbelastningar som kräver hög dataflödeshastighet och energimedveten infrastruktur, och kombinerar LPDDR5Xs inneboende fördelar (låg strömförbrukning och höga dataöverföringshastigheter) med tillförlitlighet och servicevänlighet i serverklass. Detta gör dem särskilt bra för täta, vätskekylda system och miljöer som kräver betydande minneskapacitet med snäva strömbudgetar.
SOCAMM2 erbjuder också mer än 20 % förbättring av energieffektiviteten jämfört med sin föregångare och ger en effektivitetsvinst på mer än två tredjedelar jämfört med motsvarande RDIMM-moduler. Detta resulterar i betydande besparingar i stor skala, särskilt vid driftsättning av fullrack-AI-servrar, som kan använda över 40 terabyte lågströms-DRAM. Modulens fysiska storlek är bara en tredjedel av en jämförbar RDIMM, vilket gör det möjligt för datacenter att förbättra minnestätheten samtidigt som systemets fotavtryck minimeras.
Micron arbetar med NVIDIA
Microns samarbete med NVIDIA under de senaste fem åren spelade en nyckelroll i utvecklingen av SOCAMM-formfaktorn för datacenteranvändning. SOCAMM, som ursprungligen var baserat på mobil minnesarkitektur, har sedan dess utvecklats för att möta servermiljöernas hållbarhets-, bandbredds- och temperaturkrav. SOCAMM2 utökar denna vision med stackningsinnovationer och modulär konstruktion som stöder enklare service och framtida skalbarhet.
Företaget har också bidragit till JEDECs utveckling av SOCAMM2-standarder och samarbetar med branschpartners för att driva implementeringen i hela AI-datacenterekosystemet.
Tillgänglighet
SOCAMM2-moduler samplas nu i konfigurationer upp till 192 GB och datahastigheter upp till 9.6 Gbps, med volymproduktion planerad i linje med kundernas tidslinjer för distribution.
Amazon