Utvärdera effekten av DRAM-kanaler på AI-inferensprestanda

För att validera fördelarna med DRAM i AI-system genomförde vi en serie tester med åtta Kingston KSM56R46BD4PMI-64HAI DDR5-minnesmoduler.

System-DRAM spelar en viktig roll i AI, särskilt i CPU-inferencing. När AI-tillämpningar blir mer komplexa blir efterfrågan på snabbare och effektivare minneslösningar allt mer kritisk. Vi ville titta på betydelsen av system-DRAM i AI, med fokus på CPU-inferencing och den avgörande rollen av att använda flera minneskanaler.

Vikten av system-DRAM i AI

System DRAM är det centrala navet för data i AI-system. Data lagras tillfälligt för snabb åtkomst av CPU, vilket möjliggör snabb databehandling.

Detta är särskilt viktigt i AI-applikationer där att hantera stora datamängder snabbt och effektivt inte bara är en fördel utan en nödvändighet. Här är en närmare titt på den mångfacetterade rollen för System DRAM för att förbättra AI-kapaciteten:

• Hastighet och effektivitet: AI-algoritmer, särskilt vid slutledning, kräver höghastighetsminne för att bearbeta stora mängder data. System DRAM ger denna hastighet, vilket minskar latensen och ökar systemets övergripande prestanda.
• Kapacitet: Moderna AI-applikationer kräver stor minneskapacitet. DRAM med hög kapacitet säkerställer att större datauppsättningar kan bearbetas i minnet, vilket undviker den långsammare processen att hämta data från lagringsenheter.
• Tillförlitlighet: Inom AI är dataintegritet av största vikt. System DRAM, med sina felkorrigerande möjligheter, säkerställer att datakorruption minimeras, vilket är viktigt i applikationer där noggrannhet är avgörande.
• Skalbarhet: När AI-modeller blir allt mer komplexa, blir förmågan att skala minnesresurser extremt viktig. System DRAM erbjuder den skalbarhet som krävs för att tillgodose de ökande kraven från utvecklande AI-applikationer och deras eskalerande datakrav.
• Bandbredd: System DRAM:s högre bandbredd tillåter snabbare dataöverföringshastigheter, vilket möjliggör snabbare åtkomst till data. Detta är särskilt fördelaktigt för att träna komplexa neurala nätverk och hantera storskaliga databearbetningsuppgifter.

CPU-inferencing och DRAM

Inom artificiell intelligens är CPU-inferencing – processen att använda en tränad modell för att göra förutsägelser eller beslut – och DRAM:s roll kritiska komponenter som avsevärt påverkar effektiviteten och hastigheten hos AI-applikationer. Denna fas är minneskrävande på grund av behovet av att snabbt komma åt och bearbeta stora datamängder. Det är särskilt krävande för systemminnet på grund av den komplexa karaktären och storleken på de inblandade data.

DRAM är avgörande för att optimera CPU-inferencing för AI-operationer genom flera viktiga förbättringar. För det första ger det den nödvändiga bandbredden för att uppnå hög datagenomströmning, vilket är avgörande för snabb databearbetning och beslutsfattande i CPU-inferencing. Denna ökade genomströmning leder direkt till snabbare prestanda i komplexa uppgifter.

Dessutom, genom att lagra data nära CPU:n, minskar system-DRAM avsevärt tiden för åtkomst till data, vilket minimerar den totala slutledningsfördröjningen. Denna närhet är avgörande för att upprätthålla ett snabbt och lyhört system. Slutligen, eftersom data bearbetas snabbt och åtkomsttiderna förkortas, reduceras den totala kraften som krävs för CPU slutledningsuppgifter avsevärt. Detta leder till mer energieffektiv verksamhet och säkerställer en mer hållbar och kostnadseffektiv miljö för AI-tillämpningar.

Rollen för flera minneskanaler

Systemminnesarkitektur är ett viktigt element för att definiera prestanda för AI-applikationer. Att använda flera minneskanaler är som att bredda en motorväg – det underlättar ett större flöde av datatrafik samtidigt, vilket avsevärt förbättrar systemets övergripande prestanda. Så här kan du optimera AI-driften genom att använda flera kanaler:

• Ökad bandbredd: Flera kanaler ökar minnesbandbredden. Detta är avgörande för AI-applikationer, eftersom de kan bearbeta och analysera mer data samtidigt, vilket leder till snabbare slutledningstider.
• Parallell bearbetning: Med flera kanaler kan data bearbetas parallellt, vilket avsevärt påskyndar AI-beräkningar som involverar stora datamängder.
• Minskade flaskhalsar: Flera minneskanaler hjälper till att minska systemflaskhalsar. Genom att fördela minnesbelastningen kan varje kanal fungera mer effektivt, vilket förbättrar systemets övergripande prestanda.

Testdata

För att validera fördelarna med DRAM i AI-system, särskilt CPU-inferencing, har vi genomfört en serie tester med åtta Kingston KSM56R46BD4PMI-64HAI DDR5-minnesmoduler över olika kanalkonfigurationer.

För att etablera en baslinje initierade vi fokuserade CPU-benchmarks och Geekbench-tester, som mätte CPU:ns isolerade kapacitet. För att allvarligt stressa hela systemet, inklusive minne och lagring, valde vi y-cruncher för dess rigorösa krav. Detta tillvägagångssätt tillåter oss att bedöma sammanhållningen och uthålligheten i hela systemet under extrema förhållanden, vilket ger en tydlig bild av övergripande prestanda och stabilitet.

I slutändan kommer dessa resultat att ge konkreta data om hur system-DRAM och antalet minneskanaler direkt påverkar beräkningshastighet, effektivitet och övergripande systemprestanda i AI-applikationer.

Geekbench 6

Först upp är Geekbench 6, ett plattformsoberoende riktmärke som mäter systemets övergripande prestanda. Du kan hitta jämförelser med vilket system du vill i Geekbench webbläsare. Högre poäng är bättre.

Geekbench 6-resultaten för Kingston DDR5 visar en rad variationer när man jämför 2-, 4- och 8-kanalsinställningar. I enkärniga tester ökar poängen blygsamt men konsekvent från 2,083 2,317 med två kanaler till 14,404 19,752 med åtta kanaler, vilket indikerar förbättrad effektivitet och genomströmning för individuell kärnverksamhet när antalet kanaler ökar. Den mest dramatiska prestandaförbättringen observeras dock i tester med flera kärnor, där poängen hoppar från XNUMX XNUMX med två kanaler till avsevärda XNUMX XNUMX med åtta kanaler.

y-cruncher

y-cruncher, ett flertrådigt och skalbart program, kan beräkna Pi och andra matematiska konstanter till biljoner siffror. Sedan lanseringen 2009 har y-cruncher blivit en populär benchmarking- och stresstestapplikation för överklockare och hårdvaruentusiaster. Snabbare är bättre i detta test.

Y-cruncher-riktmärket över 2, 4 och 8 kanaler visar en tydlig och konsekvent förbättring av beräkningshastigheten när antalet kanaler ökar. För att beräkna 1 miljard siffror av Pi, minskar den totala beräkningstiden avsevärt från 18.117 sekunder med två kanaler till bara 7.552 sekunder med åtta kanaler.

Denna trend med minskad beräkningstid fortsätter över alla testade skalor, med tiden för beräkning av 25 miljarder siffror sjunker från 693.835 sekunder till 396.997 sekunder när man flyttar från 2 till 4 kanaler.

3DMark – CPU-profil

CPU-profiltestet i 3DMark mäter specifikt processorns prestanda över en rad trådräkningar, och ger en detaljerad titt på hur olika konfigurationer av DDR5 RAM-kanaler påverkar CPU-hantering och effektivitet. Detta test är fördelaktigt för att förstå prestandanyanserna i minnesintensiva operationer och flertrådade applikationer när du använder olika DDR5 RAM-kanalinställningar.

3DMark CPU-profilpoängen för Kingston DDR5 RAM visar en något komplex bild, vilket indikerar att det optimala antalet kanaler kan variera beroende på trådantalet och den specifika arbetsbelastningen.

Vid maximalt antal trådar är poängen högst med två kanaler (15,822 4) och minskar något med fler kanaler, vilket tyder på att de ytterligare kanalerna inte ger en fördel för mycket parallella uppgifter. Men vid åtta trådar får 6,019-kanalskonfigurationen högst poäng (4 2), vilket indikerar en sweet spot där de extra kanalerna förbättrar hanteringen av parallellitet på mellannivå. Poängen är liknande för alla kanalkonfigurationer vid lägre trådantal (1, XNUMX och XNUMX tråd).

Dessa resultat tyder på att även om fler kanaler kan gynna vissa flertrådiga operationer, varierar effekten med typen av uppgift och systemets arkitektur. Det vill säga, mer är inte alltid bättre för varje användningsfall.

DRAM-kanaleffekt på AI-inferencing

Alla tester utfördes på en Intel Xeon w9-3475X CPU, med hjälp av Intel OpenVINO API genom UL Labs Procyon Benchmark.

Med en rad AI-inferensmotorer från ledande leverantörer, tillgodoser UL Procyon AI Inference Benchmark ett brett spektrum av hårdvaruinställningar och krav. Benchmark-poängen ger en bekväm och standardiserad sammanfattning av slutledningsprestanda på enheten. Detta gör det möjligt för oss att jämföra och kontrastera olika hårdvaruinställningar i verkliga situationer utan att kräva interna lösningar.

Resultaten ligger inom felmarginalen på FP32, men saker och ting blir intressanta när du flyttar till INT och tittar på de detaljerade poängen snarare än den totala poängen.

Större siffra bättre på totalresultat, litet antal bättre på tider.

Först ut är FP32 Precision

Nästa är FP16 Precision

Och slutligen INT

DRAM-genomströmning och latens

Först ut, titta på latensen för 2-kanals och 8-kanals DRAM-konfiguration. Vi profilerade hela CPU:n och minnet, men vårt enda fokus var övergången från CPU Cache till DRAM. Eftersom vår Xeon W9-3475X CPU bara har 82.50 MB L3-cache, drog vi ut diagrammet i början av den övergången.

Här kan vi se att att lägga till fler kanaler förbättrade latensen med en liten marginal.

Om vi ​​går vidare till bandbredd på AVX512-instruktionerna kan vi se lite mer av en dramatisk skillnad i bandbredd mellan 2-kanals och 8-kanals. Delta här är prestandahiten mellan 2 och 8 kanaler.

Slutsats

Sammanfattningsvis är system-DRAM en hörnsten i arkitekturen för AI-system, särskilt i CPU-inferencing. Dess förmåga att tillhandahålla höghastighets, tillförlitligt och omfattande minne är oumbärlig. Dessutom kan utnyttjande av flera minneskanaler förbättra prestandan för AI-applikationer avsevärt genom att öka bandbredden, möjliggöra parallell bearbetning och minimera flaskhalsar. När AI fortsätter att utvecklas kommer optimering av system-DRAM att förbli ett nyckelfokus för att säkerställa högsta prestanda och effektivitet.

Dessutom förstärker testdata denna uppfattning, vilket visar de påtagliga fördelarna med förbättrade minneskonfigurationer. När vi tänjer på gränserna för AI och databehandling, kommer den strategiska förbättringen av systemminnet att vara avgörande för att stödja nästa generations AI-innovation och tillämpningar i den verkliga världen.

Engagera dig med StorageReview

Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Rssflöde