Zvyšte efektivitu umělé inteligence s masivními 61.44TB NVMe SSD disky od Solidigmu

Není žádným tajemstvím, že milujeme masivní hustotu SSD disků Solidigm 61.44 TB U.2 NVMe. Provedli jsme řadu testů odolnosti a výkonu, učinili vědecké objevy a posunuli výpočty světových rekordů do nových, mimořádných výšin. Takže s tím, jak se kolem nás šíří šílenství v oblasti umělé inteligence závratnou rychlostí, bylo dalším logickým krokem zjistit, jak si disky Solidigm NVMe obstojí v dynamickém světě umělé inteligence v roce 2024.

Pochopení výhod extrémní hustoty úložiště

SSD disky Solidigm QLC s kapacitou 61.44 TB vynikají svou pozoruhodnou úložnou kapacitou, která umožňuje datovým centrem umístit více úložiště na menší počet disků. Tato extrémní hustota je obzvláště výhodná u serverů s umělou inteligencí, kde datové sady exponenciálně rostou a efektivní úložná řešení jsou klíčová. Díky těmto vysokokapacitním SSD diskům mohou datová centra snížit počet fyzických disků, zmenšit zastavěnou plochu, snížit spotřebu energie a zjednodušit údržbu.

Omezené linky PCIe v GPU serverech

Jednou z hlavních výzev moderních GPU serverů je omezený počet PCIe linek dostupných poté, co GPU získají svůj podíl. GPU, které jsou kritické pro úlohy umělé inteligence, vyžadují značnou šířku pásma PCIe, což často ponechává omezené linky pro další komponenty, včetně úložných zařízení a sítí. Toto omezení vyžaduje optimalizaci využití dostupných PCIe linek. SSD disky Solidigm s kapacitou 61.44 TB QLC nabízejí řešení tím, že poskytují masivní úložnou kapacitu na jednom disku, snižují potřebu více disků a šetří PCIe linky pro GPU a další důležité komponenty.

Úlohy umělé inteligence a požadavky na úložiště

Pracovní zátěže umělé inteligence lze obecně rozdělit do tří fází: příprava dat, trénování a jemné ladění a inference. Každá fáze má jedinečné požadavky na úložiště a vysokokapacitní SSD disky Solidigm mohou výrazně zvýšit výkon a efektivitu v těchto fázích. Nasazení vysokokapacitních disků QLC, jako je Solidigm D5-P5336, prospívá všem pracovním zátěžím umělé inteligence. Většina výhod se týká přípravy dat, trénování a jemného ladění a inference.

Příprava dat

Příprava dat je základem každého projektu umělé inteligence a zahrnuje sběr, čištění, transformaci a rozšiřování dat. Tato fáze vyžaduje rozsáhlé úložiště, protože sady surových dat mohou být obrovské. SSD disky Solidigm QLC s kapacitou 61.44 TB dokáží ukládat rozsáhlá surová data bez kompromisů ve výkonu. Vysoká sekvenční rychlost čtení a zápisu těchto SSD disků navíc zajišťuje rychlý přístup k datům a urychluje proces přípravy. Pro přípravu dat splňují SSD disky Soidigm QLC s kapacitou 61.44 TB všechny výše uvedené požadavky a mají například tyto výhody:

• Obrovská úložná kapacita: Efektivní zpracování velkých datových sad.
• Vysoké sekvenční rychlosti: Rychlý přístup k datům a jejich zpracování.
• Snížená latence: Minimalizované zpoždění při načítání dat, což zvyšuje efektivitu pracovních postupů.

Školení a doladění

Trénování modelů umělé inteligence je intenzivní proces, který zahrnuje vkládání rozsáhlých datových sad do neuronových sítí za účelem úpravy vah a zkreslení. Tato fáze je výpočetně náročná a vyžaduje vysoký počet IOPS (vstupně/výstupních operací za sekundu) a nízkou latenci úložiště, aby se udržel krok s rychlou výměnou dat mezi úložištěm a GPU. SSD disky Solidigm v tomto ohledu vynikají a nabízejí vysoký výkon a odolnost. Extrémní hustota těchto SSD disků umožňuje použití rozsáhlejších datových sad při trénování, což může vést k přesnějším modelům. Pro splnění požadavků na trénování a jemné ladění poskytují SSD disky Solidigm následující:

• Vysoké IOPS: Podporuje rychlou výměnu dat nezbytnou pro školení.
• Trvanlivost: Technologie QLC optimalizovaná pro náročné úlohy čtení/zápisu, ideální pro opakované trénovací cykly.
• Škálovatelnost: Rozšiřte úložiště bez přidání fyzických disků a zachovejte efektivní využití linek PCIe.

Vyvozování závěrů

Po natrénování jsou modely umělé inteligence nasazeny k vytváření predikcí nebo rozhodnutí na základě nových dat, což je známé jako inference. Tato fáze často vyžaduje rychlý přístup k předzpracovaným datům a efektivní zpracování zvýšeného počtu požadavků na čtení. SSD disky Solidigm QLC s kapacitou 61.44 TB poskytují potřebný výkon čtení a nízkou latenci, aby bylo zajištěno plynulé a rychlé provádění inference. SSD disky Solidigm překonávají výkon a nízkou latenci tím, že poskytují následující výhody:

• Rychlé čtení: Zajišťuje rychlý přístup k datům pro inferenci v reálném čase.
• Nízká latence: Kritické pro aplikace vyžadující okamžitou reakci.
• Vysoká kapacita: Efektivně ukládejte rozsáhlá inferenční data a historické výsledky.

Technologie QLC nabízí pro inferenční aplikace významné výhody, včetně vysoké úložné kapacity, cenové efektivity, vysokých rychlostí čtení, efektivního využití PCIe, odolnosti a vylepšené efektivity pracovních postupů. Tyto výhody společně zvyšují výkon, škálovatelnost a cenovou efektivitu inferenčních úloh, což z disků QLC dělá ideální volbu pro moderní nasazení umělé inteligence a strojového učení.

Proč je důležité mít velké úložiště co nejblíže k GPU?

V případě umělé inteligence a strojového učení může blízkost úložiště k GPU významně ovlivnit výkon. Návrh datového centra s umělou inteligencí vyžaduje pečlivé zvážení několika faktorů, aby byla zajištěna optimální funkčnost a efektivita. Proto je zásadní mít rozsáhlé úložiště co nejblíže GPU. Jak jsme nedávno zkoumali, přístup k rozsáhlému síťovému úložnému řešení se začíná formovat do role jednoho nástroje v pásu, ale spoléhat se pouze na něj nemusí být vždy optimální volbou.

Latence a šířka pásma

Hlavním důvodem pro umístění dostatečného úložiště blízko GPU je minimalizace latence a maximalizace šířky pásma. Pracovní zátěž umělé inteligence, zejména během trénování, zahrnuje časté a masivní přenosy dat mezi úložištěm a GPU. Vysoká latence může celý proces brzdit, zpomalovat dobu trénování a snižovat efektivitu.

V úlohách s umělou inteligencí, kde je rychlá dostupnost dat kritická, nízká latence zajišťuje, že grafické procesory (GPU) přijímají data rychle, čímž se zkracují doby nečinnosti a zvyšuje celková výpočetní efektivita. Během fáze trénování je třeba do GPU nepřetržitě přivádět obrovské objemy dat ke zpracování. Minimalizací latence zajišťuje DAS splnění požadavků aplikací umělé inteligence na vysokou rychlost, což vede k rychlejším dobám trénování a efektivnějším pracovním postupům.

Propustnost dat a výkon I/O

Lokální NVMe SSD disky vynikají ve zpracování velkého počtu vstupně/výstupních operací za sekundu (IOPS), což je klíčové pro náročnou povahu úloh umělé inteligence, které vyžadují čtení/zápis. Během fáze trénování vyžadují modely umělé inteligence rychlý přístup k rozsáhlým datovým úložištím, což vyžaduje úložná řešení, která dokážou držet krok s vysokou poptávkou po datových transakcích.

Disk Solidigm D5-P5336, navržený pro scénáře s vysokou kapacitou a vysokým výkonem, poskytuje výjimečné IOPS, což umožňuje rychlejší načítání a zápis dat. Tato funkce zajišťuje, že grafické procesory zůstávají zaneprázdněny výpočty, místo aby čekaly na data, čímž se maximalizuje efektivita a zkracuje doba trénování. Vysoký výkon IOPS lokálních NVMe SSD disků je činí ideálními pro náročná prostředí aplikací umělé inteligence, kde je rychlý přístup k datům a jejich zpracování nezbytné pro optimální výkon.

Správa dat

I když v některých scénářích zjednodušuje dostatek úložného prostoru připojeného přímo k GPU správu dat, přidává to nezbytnou vrstvu správy dat pro ukládání dat na server GPU. V ideálním světě je vaše GPU zaneprázdněna zpracováním dat a váš CPU se obrací na síť, aby ukládal kontrolní body nebo přinesl nová data. Disky Solidigm s kapacitou 61.44 TB pomáhají snížit počet potřebných datových transakcí. To lze také zohlednit zjednodušeným nastavením sítě a distribuovanými souborovými systémy. Tento přímočarý přístup může zefektivnit pracovní postupy a snížit potenciál chyb nebo zpoždění souvisejících s daty.

Předpokládejme, že pracujete uvnitř jednoho serveru a dolaďujete modely, které se vejdou do několika lokálně připojených grafických karet (GPU). V takovém případě máte výhodu lokálního úložiště, které se snáze nastavuje a spravuje než síťová úložiště. Konfigurace, správa a údržba síťového úložiště může být složitá a časově náročná a často vyžaduje specializované znalosti a dodatečnou infrastrukturu. Naproti tomu lokální úložiště, jako jsou NVMe SSD, se snáze integrují do stávajících serverových sestav.

Tato jednoduchost konfigurace a údržby umožňuje IT týmům více se soustředit na optimalizaci úloh s umělou inteligencí, než aby se zabývaly složitostmi správy síťového úložiště. V důsledku toho se nasazení a správa úložiště pro aplikace s umělou inteligencí stává jednodušší a efektivnější s lokálními NVMe SSD disky.

Náklady a škálovatelnost

Řešení NAS se sice dají horizontálně škálovat přidáním dalších úložných zařízení, ale zároveň s sebou nesou náklady spojené se síťovou infrastrukturou a potenciálními problémy s výkonem. Naopak investice do vysokokapacitního lokálního úložiště může přinést okamžité výhody ve výkonu bez rozsáhlých upgradů sítě.

Lokální úložná řešení jsou často nákladově efektivnější než síťové úložné systémy (NAS), protože eliminují potřebu drahého síťového hardwaru a složitých konfigurací. Nastavení a údržba NAS zahrnuje značné investice do síťového vybavení, jako jsou vysokorychlostní přepínače a routery, a průběžné náklady na správu a údržbu sítě.

Lokální SSD disky s velkou kapacitou integrované přímo do serveru se používají jako pracovní oblast, což snižuje potřebu další infrastruktury. Tato přímá integrace snižuje náklady na hardware a zjednodušuje proces nastavení, což je pro organizace, které chtějí optimalizovat své úlohy s umělou inteligencí, příznivější z hlediska rozpočtu, aniž by musely vynakládat vysoké náklady.

Abychom důkladně vyhodnotili výkon SSD disků Solidigm 61.44 TB QLC v konfiguraci serveru s umělou inteligencí, porovnáme pole čtyř SSD disků Solidigm P5336 61.44 TB instalovaných v počítači Lenovo ThinkSystem SR675 V3. Tato konfigurace serveru také obsahuje sadu čtyř grafických karet NVIDIA L40S. Jako benchmarkový nástroj pro tento účel jsme použili GDSIO, specializovaný nástroj určený k měření výkonu úložiště v prostředích GDS (GPU-direct storage). Prozkoumali jsme dvě konfigurace: výkon jedné grafické karty na jeden disk a jednu grafickou kartu na čtyři disky konfigurované pro RAID0.

Zůstaňte s námi. Následující části se zabývají specifiky testů a tím, jak napodobují různé fáze vývoje umělé inteligence.

Testovací parametry

Proces benchmarkingu zahrnuje různé testovací parametry, které simulují různé fáze vývoje umělé inteligence. Mezi tyto parametry patří io_sizes, threads a transfer_type, přičemž každý z nich je vybrán tak, aby reprezentoval specifické aspekty úloh umělé inteligence.

1. Velikosti I/O:

• 4K, 128K, 256K, 512K, 1M, 4M, 16M, 64M, 128M: Tyto různé velikosti I/O operací pomáhají simulovat různé vzorce přenosu dat. Menší velikosti I/O operací (128K, 256K, 512K) napodobují scénáře, kde se často přistupuje k malým datovým blokům, což je typické během fází přípravy dat. Větší velikosti I/O operací (1M, 4M, 16M, 64M, 128M) představují hromadné přenosy dat, které se často vyskytují během fází trénování a inference, kde se přesouvají celé datové dávky.

2. Vlákna:

• 1, 4, 16, 32: Počet vláken představuje úroveň souběžnosti přístupu k datům. Jedno vlákno testuje základní výkon, zatímco vyšší počet vláken (4, 16, 32) simuluje intenzivnější, paralelní aktivity zpracování dat, podobné těm, které se odehrávají během rozsáhlých tréninkových relací, kde se současně zpracovává více datových toků.

3. Typy převodů:

• Úložiště->GPU (GDS): Tento typ přenosu využívá technologii GPU Direct Storage (GDS), která umožňuje přímý přenos dat mezi SSD disky a GPU, a to bez nutnosti použití CPU. Tato konfigurace je ideální pro testování efektivity přímých datových cest a minimalizaci latence, což odráží scénáře inference v reálném čase.
• Úložiště->CPU->GPU: Tato tradiční cesta přenosu dat zahrnuje přesun dat z úložiště do CPU před jejich přenosem do GPU. Tato metoda simuluje scénáře, kde by mohlo docházet k mezizpracování nebo ukládání do mezipaměti na úrovni CPU, což se očekává během fáze přípravy dat. Dalo by se argumentovat, že tato datová cesta by reprezentovala výkon bez ohledu na dodavatele GPU.
• Úložiště->PAGE_CACHE->CPU->GPU: Tato cesta využívá pro přenos dat mezipaměť stránek, kde jsou data nejprve uložena do mezipaměti, než je zpracuje CPU, a poté přenesena do GPU. Tato konfigurace je užitečná pro testování vlivu mechanismů ukládání do mezipaměti a šířky pásma paměti na celkový výkon, což je relevantní během trénování, kdy mohou být data předzpracována a uložena do mezipaměti pro efektivitu. Opět bychom mohli argumentovat, že tato datová cesta by reprezentovala výkon bez ohledu na dodavatele GPU.

Napodobování fází AI pipeline

Benchmarkové testy jsou navrženy tak, aby odrážely různé fáze vývoje umělé inteligence a zajistily tak relevantní a komplexní metriky výkonu.

Příprava dat:

• Velikosti I/O: Menší (128 tisíc, 256 tisíc, 512 tisíc)
• Vlákna: 1, 4
• Typy převodů: „Úložiště->CPU->GPU“, „Úložiště->PAGE_CACHE->CPU->GPU“
• Účel: Vyhodnoťte, jak SSD disky zvládají časté přenosy malých dat a zapojení CPU, což je klíčové během fází příjmu dat, čištění a rozšiřování.

Školení a doladění:

• Velikosti I/O: Střední až velká (1M, 4M, 16M)
• Vlákna: 4, 16, 32
• Typy převodů: „Úložiště->GPU (GDS)“, „Úložiště->CPU->GPU“
• Účel: Vyhodnoťte výkon za podmínek vysoké datové propustnosti s více souběžnými datovými toky, což představuje intenzivní zpracování dat potřebné během trénování a doladění modelu.

Inferencování:

• Velikosti I/O: Velká až velmi velká (16M, 64M, 128M) a 4K
• Vlákna: 1, 4, 16
• Typy převodů: Úložiště->GPU (GDS)
• Účel: Měřte efektivitu přímých přenosů dat ve velkém měřítku do GPU, což je klíčové pro aplikace inferencingu v reálném čase, kde je rychlý přístup k datům a minimální latence prvořadý. Rozlišení 4K je navrženo tak, aby sledovalo probíhající vyhledávání v databázi RAG.

Změnou těchto parametrů a testováním různých konfigurací můžeme získat podrobný výkonnostní profil disků Solidigm 61.44 TB QLC SSD v prostředí vysoce výkonného serveru s umělou inteligencí, což nám poskytne informace o jejich vhodnosti a optimalizaci pro různé úlohy s umělou inteligencí. Data jsme prozkoumali spuštěním více než 1200 testů během několika týdnů.

Konfigurace serveru

• Lenovo Think System SR675 V3
• 24jádrový procesor AMD EPYC 9254
• 6 x 64GB DDR5, celková kapacita 384GB
• 4x grafické karty NVIDIA L40S
• 4x 61.44TB SSD disky Solidigm P5336 QLC NVMe
• Ubuntu Server 22.04
• Verze ovladače NVIDIA: 535.171.04
• Verze CUDA: 12.2

---

Výsledky benchmarku

Nejprve se podívejme na úlohy trénování a inferencování. Velikost GPU Direct 1024K IO představuje načítání modelu, načítání trénovacích dat do GPU a další rozsáhlé dávkové inferenční úlohy, jako je práce s obrázky nebo videem.

4 pohon	Typ I/O	Typ převodu	Vlákna	Velikost datové sady (KiB)	Velikost I/O (KiB)	Propustnost (GiB/s)	Průměrná latence (usec)
	NAPIŠTE	Grafická karta (GPU)	8	777,375,744	1024	12.31	634.55
	ČÍST	Grafická karta (GPU)	8	579,439,616	1024	9.30	840.37
	NÁHODNÝ ZAPIS	Grafická karta (GPU)	8	751,927,296	1024	12.04	648.67
	RANDREAD	Grafická karta (GPU)	8	653,832,192	1024	10.50	743.89

Dále se podíváme na menší velikosti I/O, například pro úlohy typu RAG, kde je rychlý náhodný přístup k 4k datům k databázi RAG uložené na disku. Efektivní náhodný I/O je nezbytný pro scénáře, kde úlohy inferencingu potřebují přistupovat k datům nesekvenčním způsobem, například u doporučovacích systémů nebo vyhledávacích aplikací. Konfigurace RAID0 vykazuje dobrý výkon pro sekvenční a náhodné operace, což je klíčové pro aplikace umělé inteligence, které zahrnují kombinaci přístupových vzorů, jako je RAG. Hodnoty latence čtení jsou pozoruhodně nízké, zejména v... GPUD mode.

Bylo zde vybráno 8 pracovních vláken, která sice plně nezatěžují SSD, ale poskytují reprezentativnější snímek toho, co se může vyskytnout u pracovní zátěže typu RAG. To poskytuje kontext standardní aplikace z pohledu GPU s omezeným počtem obpracovaných procesů a vyšší hloubkou fronty. Stojí za zmínku, že to ukazuje, že na stole je ještě větší výkon, kterého lze dosáhnout dalšími optimalizacemi softwaru.

4 pohon	Typ I/O	Typ převodu	Vlákna	Velikost datové sady (KiB)	Velikost I/O (KiB)	Propustnost (GiB/s)	Průměrná latence (usec)
	NAPIŠTE	Grafická karta (GPU)	8	69,929,336	4	1.12	27.32
	ČÍST	Grafická karta (GPU)	8	37,096,856	4	0.59	51.52
	NÁHODNÝ ZAPIS	Grafická karta (GPU)	8	57,083,336	4	0.91	33.42
	RANDREAD	Grafická karta (GPU)	8	27,226,364	4	0.44	70.07

Pokud nepoužíváte GPU Direct kvůli nepodporovaným knihovnám nebo GPU, zde jsou tyto dva typy, pokud využíváte CPU pro přenos dat. V tomto konkrétním serveru, Lenovo ThinkSystem SR675 V3, jelikož všechna zařízení PCIe procházejí kořenovým komplexem CPU, vidíme srovnatelnou šířku pásma, ale trpíme na latenci. V systému s PCIe přepínači můžeme očekávat zlepšení.

4 pohon	Typ I/O	Typ převodu	Vlákna	Velikost datové sady (KiB)	Velikost I/O (KiB)	Propustnost (GiB/s)	Průměrná latence (usec)
	NAPIŠTE	CPU_GPU	8	767,126,528	1024	12.24	638.05
	ČÍST	CPU_GPU	8	660,889,600	1024	10.58	738.75
	NÁHODNÝ ZAPIS	CPU_GPU	8	752,763,904	1024	12.02	649.76
	RANDREAD	CPU_GPU	8	656,329,728	1024	10.47	746.26
	NAPIŠTE	CPU_GPU	8	69,498,220	4	1.11	27.47
	ČÍST	CPU_GPU	8	36,634,680	4	0.58	52.31

Tabulka ukazuje vysokou propustnost pro operace čtení, zejména s GPUD typ přenosu. Například operace čtení v GPUD Režim dosahuje rychlosti až 10.5 GiB/s. To je výhodné pro úlohy s umělou inteligencí, které často vyžadují rychlý přístup k datům pro trénování velkých modelů.

Vyvážený výkon mezi náhodnými a sekvenčními operacemi činí tuto konfiguraci vhodnou pro inferenční úlohy, které často vyžadují kombinaci těchto přístupových vzorů. I když hodnoty latence nejsou extrémně nízké, stále jsou v přijatelných mezích pro mnoho inferenčních aplikací.

Kromě toho pozorujeme působivou propustnost, přičemž operace zápisu dosahují až 12.31 GiB/s a operace čtení až 9.30 GiB/s. Tato vysoká propustnost je výhodná pro úlohy umělé inteligence, které vyžadují rychlý přístup k datům pro trénování a inferenci modelu.

Sekvenční čtení a optimalizace

Přechodem na velikost 128M IO a iterací pracovních vláken vidíme výsledek optimalizace úlohy pro úložné řešení.

Typ převodu	Vlákna	Propustnost (GiB/s)	Latence (usec)
Úložiště->CPU->GPU	16	25.134916	79528.88255
Úložiště->CPU->GPU	4	25.134903	19887.66948
Úložiště->CPU->GPU	32	25.12613	159296.2804
Úložiště->GPU (GDS)	4	25.057484	19946.07198
Úložiště->GPU (GDS)	16	25.044871	79770.6007
Úložiště->GPU (GDS)	32	25.031055	159478.8246
Úložiště->PAGE_CACHE->CPU->GPU	16	24.493948	109958.4447
Úložiště->PAGE_CACHE->CPU->GPU	32	24.126103	291792.8345
Úložiště->GPU (GDS)	1	23.305366	5362.611458
Úložiště->PAGE_CACHE->CPU->GPU	4	21.906704	22815.52797
Úložiště->CPU->GPU	1	15.27233	8182.667969
Úložiště->PAGE_CACHE->CPU->GPU	1	6.016992	20760.22778

Správné napsání jakékoli aplikace pro interakci s úložištěm je zásadní a je třeba jej zvážit, protože podniky chtějí maximalizovat své investice do GPU.

GPU Direct

Izolováním výkonu pouze pro GPU Direct napříč všemi testy si můžeme udělat obecnou představu o tom, jak technologie NVIDIA vyniká.

Typ I/O	Typ převodu	Vlákna	Velikost datové sady (KiB)	Velikost I/O (KiB)	Propustnost (GiB/s)	Průměrná latence (usec)
NAPIŠTE	Grafická karta (GPU)	8	777,375,744	1024	12.31	634.55
ČÍST	Grafická karta (GPU)	8	579,439,616	1024	9.30	840.37
NÁHODNÝ ZAPIS	Grafická karta (GPU)	8	751,927,296	1024	12.04	648.67
RANDREAD	Grafická karta (GPU)	8	653,832,192	1024	10.50	743.89
NAPIŠTE	Grafická karta (GPU)	8	69,929,336	4	1.12	27.32
ČÍST	Grafická karta (GPU)	8	37,096,856	4	0.59	51.52
NÁHODNÝ ZAPIS	Grafická karta (GPU)	8	8,522,752	4	0.14	224.05
RANDREAD	Grafická karta (GPU)	8	21,161,116	4	0.34	89.99
NÁHODNÝ ZAPIS	Grafická karta (GPU)	8	57,083,336	4	0.91	33.42
RANDREAD	Grafická karta (GPU)	8	27,226,364	4	0.44	70.07

Závěrečné myšlenky

Protože se tento článek zaměřuje na disk Solidigm 61.44 TB P5336, vraťme se o krok zpět k debatě o porovnání TLC a QLC, zda se jedná o výkon nebo kapacitu. Když se podíváme na další produkty v portfoliu Solidigm, jako je řada D7, která využívá paměť TLC 3D NAND, je kapacita omezená výměnou za výkon. V našem testování, konkrétně u disků Solidigm s kapacitou 61.44 TB, vidíme souhrnný výkon s vysokou propustností, který dokáže adekvátně udržet GPU zásobované daty s nízkou latencí. Slyšíme zpětnou vazbu od výrobců ODM a OEM ohledně poptávky po stále větším množství úložiště co nejblíže GPU a disk Solidigm D5-P5336 se zdá být ideální volbou. Vzhledem k tomu, že v serverech s GPU je obvykle k dispozici omezený počet pozic NVMe, jsou disky Solidigm s vysokou hustotou slotu na vrcholu seznamu pro lokální úložiště serverů s GPU.

Obrovská úložná kapacita, kterou tyto disky nabízejí spolu s grafickými procesory, je v konečném důsledku pouze částí řešení; stále musí podávat dobrý výkon. Jakmile se výkon jednoho disku agreguje na několik disků, je zřejmé, že je k dispozici dostatečná propustnost i pro ty nejnáročnější úlohy. V případě konfigurace RAID0 se 4 disky s využitím GDSIO by celková propustnost pro operace zápisu mohla dosáhnout až 12.31 GiB/s a pro operace čtení až 25.13 GiB/s.

Tato úroveň propustnosti je více než dostatečná i pro ty nejnáročnější úkoly umělé inteligence, jako je trénování velkých modelů hlubokého učení na masivních datových sadách nebo spouštění inference v reálném čase na video streamech s vysokým rozlišením. Možnost škálovat výkon přidáním dalších disků do pole RAID0 z něj činí přesvědčivou volbu pro aplikace umělé inteligence, kde je klíčový rychlý a efektivní přístup k datům.

Je však důležité si uvědomit, že konfigurace RAID0, i když nabízejí vysoký výkon, neposkytují žádnou redundanci dat. Proto je nezbytné implementovat vhodné strategie zálohování a ochrany dat, aby se zabránilo ztrátě dat v případě selhání disku.

Dalším unikátním aspektem v dnešních datových centrech je spotřeba energie. Servery s umělou inteligencí spotřebovávají více energie než kdy dříve a nevykazují žádné známky zpomalení, takže celkový dostupný výkon je jedním z největších úzkých míst pro ty, kteří chtějí do svých datových center zavést grafické procesory (GPU). To znamená, že se klade ještě větší důraz na úsporu každého možného wattu. Pokud lze získat více TB na watt, přistupujeme k některým zajímavým myšlenkovým procesům týkajícím se celkových nákladů na vlastnictví (TCO) a nákladů na infrastrukturu. I vyjmutí těchto disků ze serveru s grafickými procesory a jejich umístění do úložného serveru v rackovém měřítku může zajistit masivní propustnost s extrémními kapacitami.

Integrace SSD disků Solidigm D5-P5336 s kapacitou 61.44 TB QLC a serverů s omezeným počtem slotů NVMe pro umělou inteligenci představuje významný pokrok v řešení problémů s úložištěm u moderních úloh umělé inteligence. Jejich extrémní hustota, výkonnostní charakteristiky a poměr TB/watt je činí ideálními pro fáze přípravy dat, trénování, jemného ladění a inference. Optimalizací využití linek PCIe a poskytováním vysokokapacitních úložných řešení umožňují tyto SSD disky moderní továrně umělé inteligence soustředit se na vývoj a nasazení sofistikovanějších a přesnějších modelů, což podněcuje inovace v oblasti umělé inteligence.

SSD disky Solidigm

Stránka Lenovo Think System SR675 V3

Tuto zprávu sponzoruje společnost Solidigm. Veškeré názory a stanoviska vyjádřené v této zprávě vycházejí z našeho nezaujatého pohledu na daný produkt (produkty).