Vyhodnocení dopadu kanálů DRAM na výkon inference umělé inteligence

Systémová DRAM hraje důležitou roli v umělé inteligenci, zejména v inferenci CPU. S rostoucí složitostí aplikací umělé inteligence se poptávka po rychlejších a efektivnějších paměťových řešeních stává stále důležitější. Chtěli jsme se zaměřit na význam systémové DRAM v umělé inteligenci se zaměřením na inferenci CPU a zásadní roli využití více paměťových kanálů.

Důležitost systémové DRAM v umělé inteligenci

Systémová paměť DRAM je centrálním centrem pro data v systémech umělé inteligence. Data jsou dočasně uložena pro rychlý přístup procesoru, což umožňuje rychlé zpracování dat.

To je obzvláště důležité v aplikacích umělé inteligence, kde rychlé a efektivní zpracování velkých datových sad není jen výhodou, ale nutností. Zde se blíže podíváme na mnohostrannou roli systémové paměti DRAM při rozšiřování možností umělé inteligence:

• Rychlost a efektivita: Algoritmy umělé inteligence, zejména v inferenci, vyžadují pro zpracování obrovského množství dat vysokorychlostní paměť. Systémová DRAM tuto rychlost zajišťuje, snižuje latenci a zvyšuje celkový výkon systému.
• Kapacita: Moderní aplikace umělé inteligence vyžadují velké paměťové kapacity. Vysokokapacitní DRAM zajišťuje, že v paměti lze zpracovávat větší datové sady, čímž se zabrání pomalejšímu procesu načítání dat z úložných zařízení.
• Spolehlivost: V umělé inteligenci je integrita dat prvořadá. Systémová paměť DRAM se svými schopnostmi opravy chyb zajišťuje minimalizaci poškození dat, což je nezbytné v aplikacích, kde je přesnost kritická.
• Škálovatelnost: S rostoucí složitostí modelů umělé inteligence se stává nesmírně důležitá schopnost škálovat paměťové prostředky. Systémová paměť DRAM nabízí škálovatelnost nezbytnou pro uspokojení rostoucích požadavků vyvíjejících se aplikací umělé inteligence a jejich rostoucích datových požadavků.
• Šířka pásma: Vyšší šířka pásma systémové paměti DRAM umožňuje rychlejší přenos dat, což umožňuje rychlejší přístup k datům. To je obzvláště výhodné pro trénování složitých neuronových sítí a správu rozsáhlých úloh zpracování dat.

Inferencing CPU a DRAM

V umělé inteligenci jsou inference CPU – proces použití trénovaného modelu k vytváření predikcí nebo rozhodování – a role DRAM klíčovými komponentami, které významně ovlivňují efektivitu a rychlost aplikací umělé inteligence. Tato fáze je náročná na paměť kvůli nutnosti rychlého přístupu k velkým datovým sadám a jejich zpracování. Je obzvláště náročná na systémovou paměť kvůli složité povaze a velikosti zpracovávaných dat.

DRAM hraje klíčovou roli v optimalizaci inference CPU pro operace umělé inteligence, a to prostřednictvím několika klíčových vylepšení. Zaprvé poskytuje potřebnou šířku pásma pro dosažení vysoké datové propustnosti, která je nezbytná pro rychlé zpracování dat a rozhodování při inferenci CPU. Tato zvýšená propustnost se přímo promítá do rychlejšího výkonu při složitých úlohách.

Navíc ukládáním dat v blízkosti CPU systémová paměť DRAM výrazně zkracuje dobu přístupu k datům, čímž minimalizuje celkovou latenci inference. Tato blízkost je klíčová pro udržení rychlého a pohotového systému. A konečně, s rychlým zpracováním dat a zkrácením doby přístupu se výrazně snižuje celková spotřeba energie potřebná pro úlohy inference CPU. To vede k energeticky úspornějšímu provozu a zajišťuje udržitelnější a nákladově efektivnější prostředí pro aplikace umělé inteligence.

Úloha více paměťových kanálů

Architektura systémové paměti je zásadním prvkem pro definování výkonu aplikací umělé inteligence. Využití více paměťových kanálů je jako rozšíření dálnice – umožňuje větší souběžný tok datového provozu, což výrazně zvyšuje celkový výkon systému. Zde je návod, jak může využití více kanálů optimalizovat operace umělé inteligence:

• Zvýšená šířka pásma: Více kanálů zvyšuje šířku pásma paměti. To je klíčové pro aplikace umělé inteligence, protože mohou zpracovávat a analyzovat více dat současně, což vede k rychlejším časům inference.
• Paralelní zpracování: Díky více kanálům lze data zpracovávat paralelně, což výrazně zrychluje výpočty umělé inteligence, které zahrnují velké datové sady.
• Snížení počtu úzkých hrdel: Více paměťových kanálů pomáhá snižovat počet úzkých hrdel systému. Rozložení zátěže paměti umožňuje každému kanálu pracovat efektivněji a zvyšuje tak celkový výkon systému.

Testovací data

Abychom ověřili výhody paměti DRAM v systémech umělé inteligence, zejména inference CPU, provedli jsme sérii testů s osmi paměťovými moduly Kingston KSM56R46BD4PMI-64HAI DDR5 v různých konfiguracích kanálů.

	KSM48R40BD4TMM-64HMR 64GB 2Rx4 8G x 80-Bit PC5-4800 CL40 Registrovaná paměť EC8 288-pinový DIMM	KSM56R46BD4PMI-64HAI 64GB 2Rx4 8G x 80-Bit PC5-5600 CL46 Registrovaná paměť EC8 288-pinový DIMM
Rychlost přenosu	4800 MT / s	5600 MT / s
CL(IDD)	Cykly 40	Cykly 46
Doba cyklu řádku (tRCmin)	48 ns (min)	48 ns (min)
Doba od obnovení do aktivního stavu/doba příkazu pro obnovení (tRFCmin)	295 ns (min)	295 ns (min)
Doba aktivity řádku	32 ns (min)	32 ns (min)
Doba předběžného nabíjení řádku	16 ns (min)	16 ns (min)
Hodnocení UL	94 V – 0	94 V – 0
Provozní teplota	0 °C až +95 °C	0 °C až +95 °C
Okolní teplota při uskladnění	-55 °C až +100 °C	-55 °C až +100 °C

Abychom stanovili základní linii, zahájili jsme cílené benchmarky CPU a testy Geekbench, které měřily jednotlivé možnosti CPU. Abychom seriózně zatížili celý systém, včetně paměti a úložiště, zvolili jsme y-cruncher pro jeho náročné požadavky. Tento přístup nám umožňuje posoudit soudržnost a odolnost celého systému v extrémních podmínkách a poskytnout jasný obraz o celkovém výkonu a stabilitě.

Tyto výsledky nakonec poskytnou konkrétní data o tom, jak systémová DRAM a počet paměťových kanálů přímo ovlivňují výpočetní rychlost, efektivitu a celkový výkon systému v aplikacích umělé inteligence.

Geekbench 6

Prvním je Geekbench 6 , multiplatformní benchmark, který měří celkový výkon systému. Srovnání s libovolným systémem najdete v prohlížeči Geekbench . Vyšší skóre znamená lepší výsledky.

Geekbench 6	Kingston DDR5 2 kanály	Kingston DDR5 4 kanály	Kingston DDR5 8 kanály
Benchmark CPU: Jednojádrový	2,083	2,233	2,317
Benchmark CPU: Vícejádrové	14,404	18,561	19,752

Výsledky Geekbench 6 pro paměti Kingston DDR5 vykazují řadu rozdílů při porovnávání 2, 4 a 8kanálových nastavení. V testech s jedním jádrem se skóre mírně, ale konzistentně zvyšuje z 2 083 se dvěma kanály na 2 317 s osmi kanály, což naznačuje zlepšenou efektivitu a propustnost pro jednotlivé operace jader s rostoucím počtem kanálů. Nejdramatičtější zvýšení výkonu je však pozorováno v testech s více jádry, kde skóre vyskočí z 14 404 se dvěma kanály na úctyhodných 19 752 s osmi kanály.

y-cruncher

y-cruncher, vícevláknový a škálovatelný program, dokáže vypočítat pí a další matematické konstanty s rozložením bilionů číslic. Od svého uvedení na trh v roce 2009 se y-cruncher stal populární aplikací pro benchmarking a zátěžové testování pro přetaktovače a hardwarové nadšence. V tomto testu platí, že čím rychleji, tím lépe.

y-cruncher (Celkový výpočetní čas)	Kingston DDR5 2 kanály	Kingston DDR5 4 kanály	Kingston DDR5 8 kanály
1 miliarda číslic	18.117 sekund	10.856 sekund	7.552 sekund
2.5 miliarda číslic	51.412 sekund	31.861 sekund	20.981 sekund
5 miliarda číslic	110.728 sekund	64.609 sekund	46.304 sekund
10 miliarda číslic	240.666 sekund	138.402 sekund	103.216 sekund
25 miliard číslic	693.835 sekund	396.997 sekund	N / A

Benchmark y-cruncher napříč 2, 4 a 8 kanály ukazuje jasné a konzistentní zlepšení výpočetní rychlosti s rostoucím počtem kanálů. Pro výpočet 1 miliardy číslic čísla pí se celková výpočetní doba výrazně snižuje z 18.117 sekundy se dvěma kanály na pouhých 7.552 sekundy s osmi kanály.

Tento trend zkracování výpočetní doby pokračuje napříč všemi testovanými měřítky, přičemž doba pro výpočet 25 miliard číslic klesla z 693.835 sekundy na 396.997 sekundy při přechodu ze 2 na 4 kanály.

3DMark – Profil procesoru

Test CPU Profile v programu 3DMark měří výkon procesoru v různých počtech vláken a nabízí detailní pohled na to, jak různé konfigurace kanálů DDR5 RAM ovlivňují zpracování pracovní zátěže a efektivitu CPU. Tento test je užitečný pro pochopení výkonnostních nuancí v paměťově náročných operacích a vícevláknových aplikacích při použití různých nastavení kanálů DDR5 RAM.

3DMark – Profil CPU – Skóre
Počet vláken	Kingston DDR5 2 kanály	Kingston DDR5 4 kanály	Kingston DDR5 8 kanály
Max vlákna	15,822	15,547	15,457
Vlákna 16	10,632	9,515	10,367
Vlákna 8	4,957	6,019	5,053
Vlákna 4	3,165	3,366	3,323
Vlákna 2	1,726	1,765	1,781
1 závit	907	911	884

Skóre profilu procesoru 3DMark pro paměť Kingston DDR5 RAM ukazuje poněkud složitý obraz, což naznačuje, že optimální počet kanálů se může lišit v závislosti na počtu vláken a konkrétním zatížení.

Při maximálním počtu vláken jsou skóre nejvyšší se dvěma kanály (15 822) a s větším počtem kanálů mírně klesají, což naznačuje, že další kanály neposkytují výhodu pro vysoce paralelní úlohy. Při osmi vláknech však dosahuje nejvyššího skóre konfigurace se 4 kanály (6 019), což naznačuje ideální hodnotu, kde další kanály zlepšují zpracování paralelismu střední úrovně. Skóre jsou podobná napříč všemi konfiguracemi kanálů při nižších počtech vláken (4, 2 a 1 vlákno).

Tyto výsledky naznačují, že ačkoli více kanálů může být přínosem pro určité vícevláknové operace, dopad se liší v závislosti na povaze úlohy a architektuře systému. To znamená, že více neznamená vždy lepší pro každý případ použití.

Vliv kanálu DRAM na inferenci umělé inteligence

Všechny testy byly provedeny na procesoru Intel Xeon w9-3475X s využitím rozhraní Intel OpenVINO API prostřednictvím benchmarku UL Labs Procyon.

Díky řadě inferenčních enginů pro umělou inteligenci od předních dodavatelů uspokojí benchmark UL Procyon AI Inference široké spektrum hardwarových nastavení a požadavků. Skóre benchmarku poskytuje pohodlné a standardizované shrnutí výkonu inferenčních systémů na zařízení. To nám umožňuje porovnávat a srovnávat různá hardwarová nastavení v reálných situacích, aniž bychom museli používat interní řešení.

Výsledky na FP32 jsou v rámci tolerance chyby, ale věci se začnou dít zajímavěji, když se přesunete k INT a podíváte se spíše na podrobné skóre než na celkové skóre.

Větší číslo lepší v celkovém skóre, menší číslo lepší v čase.

První na řadě je FP32 Precision

FP 32
Přesnost	8 Channel	2 Channel
Celkové skóre	629	630
Průměrná doba inference MobileNet V3	0.81	0.77
Průměrná doba inference ResNet 50	1.96	1.82
Průměrná doba odvození pro Initiation V4	6.93	7.31
Průměrná doba inference v DeepLab V3	6.27	6.17
Průměrná doba inference YOLO V3	12.99	13.99
Průměrná doba inference REAL-ESRGAN	280.59	282.45

Další je FP16 Precision

FP 16
Přesnost	8 Channel	2 Channel
Celkové skóre	645	603
Průměrná doba inference MobileNet V3	0.81	0.76
Průměrná doba inference ResNet 50	1.91	1.94
Průměrná doba odvození pro Initiation V4	7.11	7.27
Průměrná doba inference v DeepLab V3	6.27	7.13
Průměrná doba inference YOLO V3	12.93	15.01
Průměrná doba inference REAL-ESRGAN	242.24	280.91

A nakonec INT

INT
Přesnost	8 Channel	2 Channel
Celkové skóre	1,033	1004
Průměrná doba inference MobileNet V3	0.71	0.73
Průměrná doba inference ResNet 50	1.48	1.48
Průměrná doba odvození pro Initiation V4	4.42	4.47
Průměrná doba inference v DeepLab V3	4.33	4.99
Průměrná doba inference YOLO V3	5.15	5.12
Průměrná doba inference REAL-ESRGAN	122.40	123.57

Propustnost a latence DRAM

Nejprve se podíváme na latenci 2kanálové a 8kanálové konfigurace DRAM. Profilovali jsme celý procesor a paměť, ale zaměřili jsme se pouze na přechod z mezipaměti CPU na DRAM. Protože náš procesor Xeon W9-3475X má pouze 82.50 MB mezipaměti L3, vytvořili jsme graf na začátku tohoto přechodu.

Velikost testu (KB)	2 kanálová šířka pásma	8 kanálová latence (ns)
65,536	48.70080	47.24411
98,304	68.16823	66.25920
131,072	85.38640	82.16685
262,144	114.32570	107.57450
393,216	121.74860	115.40340
524,288	129.38970	123.22100
1,048,576	144.32880	138.28380

Zde vidíme, že přidání více kanálů nepatrně zlepšilo latenci.

Pokud jde o šířku pásma instrukcí AVX512, vidíme o něco dramatičtější rozdíl v šířce pásma mezi 2 a 8 kanály. Delta zde představuje výkonnostní pokles mezi 2 a 8 kanály.

Velikost testu (KB) AVX512	2 kanálová šířka pásma (GB/s)	8 kanálová šířka pásma (GB/s)	Delta (rozdíl GB/s)
65,536	3,455.28	3,767.91	-312.63
98,304	1,801.88	2,011.83	-209.95
131,072	1,009.21	1,436.50	-427.28
262,144	178.52	508.65	-330.13
393,216	114.76	433.91	-319.15
524,288	94.81	396.90	-302.09
1,048,576	71.12	293.26	-222.13
1,572,864	66.98	267.44	-200.46
2,097,152	65.08	262.50	-197.42
3,145,728	63.63	253.12	-189.50

Závěr

Stručně řečeno, systémová DRAM je základním kamenem architektury systémů umělé inteligence, zejména v inferenčním řízení CPU. Její schopnost poskytovat vysokorychlostní, spolehlivou a rozsáhlou paměť je nezbytná. Využití více paměťových kanálů může navíc výrazně zlepšit výkon aplikací umělé inteligence zvýšením šířky pásma, umožněním paralelního zpracování a minimalizací úzkých míst. S dalším vývojem umělé inteligence zůstane optimalizace systémové DRAM klíčovým zaměřením pro zajištění nejvyšší úrovně výkonu a efektivity.

Testovací data navíc tuto myšlenku posilují a demonstrují hmatatelné výhody vylepšených konfigurací paměti. Vzhledem k tomu, že posouváme hranice umělé inteligence a zpracování dat, bude strategické vylepšení systémové paměti klíčové pro podporu nové generace inovací umělé inteligence a jejích reálných aplikací.