Western Digital OpenFlex Data24 – GPUDirect-prestatieanalyse

In dit gedetailleerde artikel bieden we real-world NVIDIA® H100 GPU-prestatieanalyse voor Western Digital OpenFlex™ Data24. Door directe datapaden tussen GPU-geheugen en opslag mogelijk te maken, vermindert de OpenFlex Data24 de latentie aanzienlijk en maximaliseert de bandbreedte.

Dit rapport wordt gesponsord door Western Digital. Alle standpunten en meningen in dit rapport zijn gebaseerd op onze onbevooroordeelde kijk op het (de) product(en) in kwestie.

AI is tegenwoordig een hype, en terwijl sommige hyperscalers op maat gemaakte oplossingen maken voor hun AI-dataprobleem, heeft Western Digital (WD) een antwoord voor de rest van ons. De Western Digital OpenFlex™ Data24™ biedt een robuuste en schaalbare opslagoplossing die voldoet aan de hoge doorvoervereisten van AI en andere GPU-versnelde workloads. Door directe datapaden tussen GPU-geheugen en opslag mogelijk te maken, vermindert de OpenFlex Data24 de latentie aanzienlijk. Het maximaliseert ook de bandbreedte, waardoor een efficiënte gegevensverwerking en een optimaal GPU-gebruik worden gegarandeerd voor een snellere, effectievere verwerking van grootschalige datasets.

Door gebruik te maken van NVMe-oF™ kan Western Digital opgesplitste hogesnelheidsopslag delen over meerdere servers, waardoor snelle gegevenstoegang en -overdracht wordt gegarandeerd. Dankzij de naadloze integratie van OpenFlex Data24 met krachtige GPU's kan het de immense doorvoer leveren die nodig is voor AI-training en -inferentie, waardoor het wordt gepositioneerd als een belangrijke factor voor datacenteractiviteiten van de volgende generatie. Deze functies maken OpenFlex Data24 tot een krachtig hulpmiddel voor elke organisatie die het volledige potentieel van AI en andere geavanceerde computationele workloads wil benutten.

Western Digital OpenFlex-gegevens24 4000

Het OpenFlex Data24 4000-serie NVMe-oF-opslagplatform van Western Digital zorgt voor ongeëvenaarde prestaties in gedeelde opslagomgevingen. Dit krachtige platform breidt de mogelijkheden van NVMe™-flash uit en biedt delen met lage latentie via een Ethernet-fabric. De Data24 4000-serie maakt gebruik van zes Western Digital RapidFlex™ A2000 Fabric Bridge-apparaten om naadloze netwerkconnectiviteit te leveren met behulp van maximaal twaalf 100GbE-poorten. Deze interfaces ondersteunen beide RoCEv2 en TCP-protocollen, die veelzijdige opties voor gegevensoverdracht bieden.

Het chassis is ontworpen in een 2U-vormfactor en biedt plaats aan maximaal 24 dual-port U.2 NVMe SSD's. Met ondersteuning voor PCIe® Gen4 is dit platform ontworpen om de prestaties van elke SSD volledig te benutten, waarbij een hoge bandbreedte door het hele chassis behouden blijft. De NVMe SSD's zijn verkrijgbaar in verschillende capaciteiten en duurzaamheidsopties, waaronder de Ultrastar® DC SN655 SSD's met een capaciteit tot 15.36 TB voor een totale brutocapaciteit van 368 TB¹.

Het ontwerp van het platform elimineert overabonnement, waardoor een evenwichtige toegang wordt gegarandeerd die de NVMe-prestaties behoudt. De Data24 4000-serie bevat ook RESTful API-ondersteuning voor gestroomlijnd beheer, waardoor het gebruiksgemak en de integratie in bestaande IT-infrastructuren worden verbeterd.

Hoge beschikbaarheid en betrouwbaarheid op bedrijfsniveau zijn cruciale kenmerken van de Data24 4000-serie. Voorzieningen als dubbele I/O-modules en N+2-ventilatorredundantie zorgen voor gemoedsrust en zorgen voor een continue werking, zelfs tijdens onvoorziene componentstoringen. Het volledige platform, inclusief SSD's, wordt gedekt door een beperkte garantie van 5 jaar.

Western Digital OpenFlex Data24 Belangrijkste specificaties

De OpenFlex-gegevens testen24

Om de benen van de OpenFlex Data24 te strekken, moesten we een paar belangrijke onderdelen samenbrengen: NVIDIA GPUDirect™, NVIDIA IndeX® en maar liefst 5.9 TB aan Tornado Simulatie-gegevens. Door gebruik te maken van NVIDIA GPUDirect hebben we directe communicatie tussen het GPU-geheugen en de OpenFlex Data24 mogelijk gemaakt, waardoor de latentie drastisch werd verminderd en de gegevensdoorvoer werd gemaximaliseerd. Door gebruik te maken van NVIDIA's IndeX konden we de enorme tornado-dataset efficiënter visualiseren en ermee communiceren, wat de realtime verwerkingsmogelijkheden van het systeem demonstreerde. Deze opstelling vormde een perfect testbed voor het demonstreren van het vermogen van OpenFlex Data24 om intensieve AI-workloads en grootschalige gegevensverwerking met opmerkelijke snelheid en efficiëntie aan te kunnen.

NVIDIA GPUDirect

NVIDIA GPUDirect technologie verbetert de efficiëntie van gegevensoverdracht aanzienlijk binnen krachtige GPU-computeromgevingen. Deze reeks technologieën optimaliseert de gegevensbeweging tussen GPU's en andere systeemcomponenten. Door de latentie en overhead te verminderen, maakt GPUDirect een directere communicatie mogelijk tussen GPU's en randapparatuur zoals netwerkadapters, opslagapparaten en andere GPU's. Traditionele processen voor gegevensoverdracht omvatten het routeren van gegevens via de CPU en het systeemgeheugen, waardoor knelpunten ontstaan ​​die de prestaties belemmeren. GPUDirect verhelpt deze knelpunten door directe geheugentoegang (DMA) tot het geheugen van de GPU toe te staan, waarbij de CPU en het systeemgeheugen worden omzeild, waardoor de algehele doorvoer wordt verbeterd.

Volgens Harry Petty, Sr. Technical Marketing Manager van NVIDIA:

“De technologieën van NVIDIA zorgen voor een lage latentie en snelle gegevensoverdracht vanuit de opslag, waardoor de prestaties van AI-workloads worden geoptimaliseerd door de inactieve tijd van de GPU te verminderen. Dit levert snellere modeltrainingstijden en nauwkeurigere resultaten op, waardoor snellere ontdekkingen en efficiëntere workflows mogelijk zijn.”

GPUDirect omvat verschillende essentiële functies, waaronder GPUDirect RDMA, dat directe gegevensoverdracht tussen de GPU en RDMA-compatibele netwerkadapters mogelijk maakt. Deze directe communicatie is cruciaal voor toepassingen die snelle gegevensuitwisseling vereisen, zoals wetenschappelijke simulaties en grootschalige data-analyses. Door snellere gegevensoverdracht mogelijk te maken, vermindert GPUDirect RDMA de latentie en verhoogt de efficiëntie van GPU-clusters. Bovendien integreert GPUDirect Storage GPU's nauwer met snelle opslagsystemen, waardoor data-intensieve applicaties de maximale bandbreedte van moderne NVMe-opslag kunnen benutten. Deze integratie versnelt de toegang tot gegevens en vermindert de tijd die wordt besteed aan het wachten tot gegevens in het GPU-geheugen zijn geladen, wat cruciaal is voor realtime analyses en grootschalige machine learning-workloads.

De mogelijkheden van GPUDirect zijn vooral effectief in omgevingen waar meerdere GPU's achter elkaar werken, zoals deep learning-trainingsclusters. Door directe communicatie tussen GPU's mogelijk te maken, optimaliseert GPUDirect de parallelle verwerking en vermindert het de overhead die gepaard gaat met gegevensoverdracht tussen GPU's aanzienlijk. Deze verbetering is vooral nuttig bij het trainen van complexe neurale netwerken, waarbij grote hoeveelheden gegevens snel moeten worden uitgewisseld over meerdere GPU's. De efficiëntiewinst van GPUDirect is ook duidelijk zichtbaar in toepassingen zoals moleculaire dynamica-simulaties en vloeistofdynamica, waarbij de rekenwerklast over talloze GPU's wordt verdeeld om snellere resultaten te bereiken.

NVIDIA-IndeX

NVIDIA-IndeX is een geavanceerde volumetrische visualisatietool die is ontworpen om enorme datasets met hoge betrouwbaarheid te verwerken. IndeX maakt gebruik van GPU-versnelling om realtime interactieve visualisatie van volumetrische 3D-gegevens te bieden, waardoor het onmisbaar wordt voor sectoren zoals olie- en gasexploratie, medische beeldvorming en wetenschappelijk onderzoek. Traditionele visualisatietools worstelen vaak met de enorme omvang en complexiteit van moderne datasets, wat leidt tot langzamere weergavetijden en minder interactieve gebruikerservaringen. IndeX overwint deze beperkingen door gebruik te maken van NVIDIA's GPU-technologie voor hoogwaardige weergave en gegevensverwerking, zodat gebruikers in realtime met hun gegevens kunnen communiceren.

De mogelijkheden van IndeX worden gedreven door het vermogen om de parallelle verwerkingskracht van GPU's te benutten, waardoor het grootschalige volumetrische gegevens efficiënt kan beheren en weergeven. Deze mogelijkheid is waardevol in toepassingen die visualisatie met hoge resolutie vereisen, zoals seismische interpretatie en reservoirsimulatie in de olie- en gassector. Door gedetailleerde en nauwkeurige visuele weergaven van ondergrondse structuren te bieden, helpt IndeX geowetenschappers beter geïnformeerde beslissingen te nemen. Op medisch gebied faciliteert IndeX de visualisatie van complexe anatomische structuren via beeldvormingsmodaliteiten zoals MRI- en CT-scans, wat de diagnose en behandelplanning ondersteunt.

De real-time weergavecapaciteit van IndeX is ook cruciaal voor wetenschappelijk onderzoek, waarbij grote datasets van simulaties en experimenten snel moeten worden gevisualiseerd en geanalyseerd. Onderzoekers kunnen hun gegevens interactief manipuleren en verkennen, waardoor hypothesetesten en ontdekking sneller mogelijk worden. De schaalbaarheid van IndeX zorgt ervoor dat het de groeiende datavolumes kan verwerken die worden gegenereerd door geavanceerde wetenschappelijke instrumenten en simulaties, waardoor onderzoekers de tools krijgen om hun data effectief te visualiseren en te interpreteren. Door naadloos te integreren met bestaande workflows en verschillende dataformaten te ondersteunen, verhoogt IndeX de productiviteit en versnelt het ontdekkingsproces in meerdere disciplines.

Alles samenbinden

De integratie van de Data24 4000-serie met NVIDIA GPUDirect-technologie verbetert de prestaties van GPU-intensieve applicaties aanzienlijk door de gegevensoverdracht tussen GPU's en opslag te stroomlijnen. GPUDirect maakt directe geheugentoegang mogelijk, waardoor gegevensverplaatsing de CPU en het systeemgeheugen kan omzeilen, waardoor de latentie wordt verminderd en de doorvoer wordt verhoogd. In combinatie met de krachtige NVMe-oF-mogelijkheden van de Data24 4000-serie zorgt GPUDirect ervoor dat GPU's snel toegang hebben tot grote datasets die zijn opgeslagen op de NVMe SSD's.

Deze integratie is vooral gunstig in omgevingen waar snelle gegevensuitwisseling tussen GPU's en opslag cruciaal is, zoals deep learning en wetenschappelijke simulaties. De lage latentie en hoge bandbreedte van de Data24 4000-serie, in combinatie met de directe datapaden die mogelijk worden gemaakt door GPUDirect, minimaliseren de gegevensoverdrachttijden en zorgen voor een efficiënter GPU-gebruik. Deze synergie optimaliseert de prestaties van parallelle verwerkingstaken, waarbij meerdere GPU's snelle en frequente toegang tot gedeelde gegevens vereisen.

Voor deze tests zijn de OpenFlex Data24 4000 en GPU-server verbonden via een 200GbE-switch met behulp van het NVMe-oF RoCEv2-protocol met overeenkomende MTU's van 5000. De GPU-server gebruikt 3 Mellanox® CX7 RNIC's met 2x 200 GbE per RNIC. De OpenFlex Data24 4000 is verkrijgbaar met 12x 100GbE-poorten. Elke CX7-poort heeft twee IP-adressen, waardoor een enkele CX2 kan worden toegewezen aan vier poorten op de Data7. Dit biedt connectiviteit met alle vier PCIe-lanes op elke schijf met dubbele poort. De 24x 4 GbE-koppelingen zijn gelijk aan het bandbreedtepotentieel van 6x 200GbE-koppelingen voor een niet-blokkerende netwerkarchitectuur.

Elke NVIDIA H100 is aangesloten via een PCIe Gen5 x16-slot, dat in theorie bidirectioneel een bandbreedte van 64 GB/s kan bereiken. Elke 200GbE- en 100GbE-RNIC-poort kan theoretisch respectievelijk 25 GB/s en 12.5 GB/s bereiken. Een kritische ontwerpoverweging is het garanderen van een niet-blokkerende architectuur. Dit vereist dat de GPU's, RNIC's en NVMe-oF-schijven allemaal fysiek in kaart worden gebracht op dezelfde CPU-, NUMA- en PLX-switch. Hierdoor kan de configuratie volledig profiteren van GPUDirect. Zoals te zien is in deze implementatie zou een gespiegelde configuratie op de tweede CPU, NUMA en PLX-switch een voorspelbare rekenschaal en een theoretische verdubbeling van de prestaties mogelijk maken.

In AI-trainingsclusters kan de combinatie van Data24 4000 en GPUDirect snellere trainingstijden mogelijk maken door de knelpunten die gepaard gaan met het laden van gegevens te verminderen. De efficiënte datapaden zorgen ervoor dat GPU's continu gegevens kunnen ontvangen zonder onderbrekingen, waardoor hoge verwerkingssnelheden behouden blijven en de algehele systeemefficiëntie wordt verbeterd. Deze opstelling is ook voordelig voor realtime analyses en andere toepassingen die snelle gegevenstoegang en -verwerking vereisen, wat een aanzienlijke prestatieverbetering oplevert voor verschillende computerwerklasten.

NVIDIA IndeX-serverconfiguratie

Voor de NVIDIA IndeX-test hebben we de Supermicro 521GE-TNRT gebruikt, uitgerust met de geschakelde PCIe-backplane, een paar NVIDIA H100's en drie NVIDIA ConnectX-7-netwerkkaarten.

GDSIO synthetische testen

De benchmarkingtool die voor dit doel wordt gebruikt, is GDSIO, een gespecialiseerd eigen NVIDIA-hulpprogramma dat is ontworpen om de opslagprestaties in GPU-direct storage (GDS)-omgevingen te meten. We hebben voor deze testronde naar een paar configuraties gekeken: een enkele GPU met 12 schijven en 24 schijven, evenals twee GPU's met 24 schijven.

De prestaties van de Western Digital OpenFlex Data24 in de GDSIO-prestatietest, gecombineerd met NVIDIA H100 GPU's, onthullen inzicht in de brute kracht van de schijven. Indien geconfigureerd met 12 schijven en een enkele GPU, behaalde het systeem een ​​schrijfbandbreedte van 44.14 GB/s. Het verhogen van het aantal schijven naar 24 bij gebruik van één GPU liet een bescheiden verbetering zien, waarbij de schrijfprestaties 54.15 GB/s bereikten. De introductie van een tweede GPU in de opstelling met 24 schijven resulteerde in een aanzienlijke boost, waardoor de schrijfbandbreedte werd verhoogd naar 87.91 GB/s.

De leesprestaties volgen een vergelijkbare trend. De configuratie met 12 schijven en één GPU leverde een leesbandbreedte op van 53.47 GB/s. Uitbreiding naar 24 schijven met één GPU verhoogt deze lichtjes naar 54.75 GB/s. De meest dramatische verbetering kwam echter met de dubbele GPU-opstelling, waarbij het systeem een ​​indrukwekkende leesbandbreedte van 101.14 GB/s behaalde. Deze resultaten onderstrepen het vermogen van de OpenFlex Data24 om voorspelbaar te schalen met een groter aantal schijven.

De toevoeging van GPU's speelt een cruciale rol bij het maximaliseren van de prestaties. De configuratie met 24 schijven en twee GPU's kwam naar voren als de optimale opstelling en leverde de hoogste bandbreedte voor lees- en schrijfbewerkingen. Deze test onderstreept het belang van GPU-versnelling bij het benutten van het volledige potentieel van het GDSIO-framework. De OpenFlex Data24, gecombineerd met NVIDIA H100 GPU's, demonstreert uitzonderlijke prestaties, waardoor het een robuuste oplossing is voor veeleisende opslagomgevingen.

Voor AI-workloads, waarbij snelle data-opname en -verwerking van cruciaal belang zijn, kunnen de prestaties die worden waargenomen met de OpenFlex Data24 zich vertalen in aanzienlijke verkortingen van de trainingstijd en een efficiëntere verwerking van grote datasets. De mogelijkheid om gegevens snel van opslag naar GPU-geheugen te verplaatsen, zorgt ervoor dat de rekenbronnen van krachtige GPU's volledig worden benut, wat snellere en efficiëntere modeltraining en gevolgtrekking mogelijk maakt.

Gebruik van de OpenFlex Data24 om de tornado's van de H100 te voeden

Klimaatonderzoekers hebben lang supercell-onweersbuien bestudeerd, de atmosferische verschijnselen die verantwoordelijk zijn voor 's werelds meest gewelddadige en gevaarlijke tornado's. Deze stormen zijn dynamisch en complex, waardoor nauwkeurige simulaties tijdrovend en data-intensief zijn. Het verkennen van dergelijke gegevens is een langzaam en omslachtig proces geweest, waarbij het vaak uren duurde om nieuwe visualisaties te maken.

Het gebruik van NVIDIA GPU's en NVIDIA IndeX heeft een revolutie op dit gebied teweeggebracht. Wetenschappers kunnen nu volumetrische visualisaties in realtime uitvoeren. De simulatie die we hebben uitgevoerd op het Supermicro-systeem met H100's (waarvan gegevens worden gevoed door de OpenFlex Data24) toont een storm in Oklahoma uit 2011, gesimuleerd door professor Leigh Orf. Deze simulatie, wiskundig afgeleid van de beginomstandigheden vlak voordat de tornado ontstond, omvat 250 miljard rasterpunten, elk met meer dan een dozijn attributen zoals regen, hagel, druk en windsnelheid. Deze gedetailleerde visualisatie, die 6000 simulatiestappen toont, biedt ongekend inzicht in de dynamiek van de tornado.

De sleutel tot deze simulatie is NanoVDB, een compacte datastructuur met een dun volume die de datasetgrootte en de geheugenvoetafdruk verkleint door gegevens rechtstreeks in het geheugen van de GPU in kaart te brengen. In combinatie met GPUDirect Storage-technologie en de OpenFlex Data24 bereikten we tot 89 GB/s en kunnen we resultaten bekijken met meer dan 13 frames per seconde. Dit kwam neer op ongeveer 5.9 TB aan dataset die elke 66 seconden werd opgenomen. Deze combinatie maakt interactieve navigatie, directe parameteraanpassingen en gemakkelijk door de simulatie bladeren mogelijk.

Als GPUDirect is uitgeschakeld (en dus de gegevens nu door het CPU-complex gaan), wordt de bandbreedte teruggebracht tot ongeveer 15 GB/s en daalt de framesnelheid aanzienlijk naar 4 frames per seconde.

Snelheid is cruciaal, maar fotorealistische kwaliteit is ook essentieel voor het valideren van de nauwkeurigheid van simulaties. Als simulatie en realiteit niet op elkaar aansluiten, moeten modellen worden gecorrigeerd. NVIDIA Iray, een GPU-gebaseerde path-tracer die fysiek correct lichttransport weergeeft, wordt naast NVIDIA IndeX-volumegegevens gebruikt om deze visualisatie mogelijk te maken. De trechter van de tornado, het grondcontact en gedetailleerde elementen zoals de verhouding tussen wolk en water en regen, weergegeven door blauwgrijze poriën, zijn duidelijk zichtbaar.

Conclusie

De prestatie-, tijd- en kostenvoordelen die een goed geconfigureerde, niet-blokkerende architectuur kan bieden voor GPU-versnelde werklasten worden goed gedemonstreerd in dit project. Simpel gezegd zorgt het stimuleren van GPU's tot hun maximale doorvoer- of verwerkingscapaciteit voor efficiëntere resultaten en rendement op de investering.

De architectuur van Western Digital ondersteunt Open Composable Infrastructure (OCI), en het OpenFlex Data24 4000-platform maakt gebruik van deze OCI-aanpak door gegevensopslag op te splitsen met behulp van NVMe-over-Fabrics (NVMe-oF). Deze ontkoppeling van de opslagbronnen van de GPU-server helpt niet alleen om de bronnen van de servers vrij te maken (waardoor die bronnen vrijkomen uit traditionele lockstep-upgrades), maar maakt daardoor ook een fijnafstemming mogelijk van NVMe Drive-toewijzing aan GPU's. Deze nauwkeurige schijfafstemming met GPU-vereisten zorgt ervoor dat GPU-mogelijkheden, prestaties en datacapaciteit nauwkeurig kunnen worden aangepakt, wat op zijn beurt de voorspelbare schaal en flexibiliteit biedt die voor deze bronnen nodig is.

Omdat de gegevens niet langer in silo's worden opgeslagen, worden ze een toegankelijke netwerkopslagbron, die indien nodig kan worden gedeeld tussen meerdere GPU-servers, waardoor de flexibiliteit verder wordt vergroot.

De Western Digital OpenFlex Data24, gecombineerd met NVIDIA GPUDirect-technologie, demonstreert een formidabel vermogen bij het verwerken van AI en andere GPU-versnelde werklasten. Door directe datapaden tussen GPU-geheugen en NVMe-opslag mogelijk te maken, vermindert de Data24 de latentie aanzienlijk en maximaliseert de bandbreedte, waardoor een efficiënte gegevensverwerking en een optimaal GPU-gebruik wordt gegarandeerd. Deze integratie maakt een snellere, effectievere verwerking van grootschalige datasets mogelijk, waardoor de Data24 van onschatbare waarde is in moderne data-intensieve omgevingen.

Onze tests in de echte wereld, waarbij gebruik werd gemaakt van een substantiële tornado-simulatiedataset, toonden de opmerkelijke prestatiewinst aan die door deze opstelling werd bereikt. Het vermogen van de OpenFlex Data24 om gegevensoverdracht met hoge doorvoer en lage latentie te leveren, in combinatie met de realtime visualisatiemogelijkheden van NVIDIA IndeX, onderstreept zijn potentieel in veeleisende toepassingen zoals AI-training, wetenschappelijke simulaties en realtime analyses.

Het gebruik van de Data24-serie en GPUDirect-technologie voor AI-trainingsclusters kan de trainingstijd aanzienlijk verkorten door een naadloze gegevensstroom van opslag naar GPU's te garanderen. Deze opzet minimaliseert knelpunten en verbetert de algehele systeemefficiëntie, waardoor het een cruciaal onderdeel wordt bij het nastreven van snellere en nauwkeurigere AI-modellen.

Naast AI strekken de voordelen van OpenFlex Data24 zich uit tot andere GPU-versnelde workloads, waaronder high-performance computing en realtime data-analyse. De verminderde latentie en verhoogde doorvoer die dit platform mogelijk maakt, zorgen ervoor dat applicaties die snelle toegang tot gegevens en verwerking vereisen, topprestaties kunnen leveren en tijdige en nauwkeurige resultaten kunnen opleveren.

Zie deze demo in actie van 6 tot 8 augustus 2024 op FMS 2024 stand #607.

Western Digital OpenFlex-platforms

[1] Eén terabyte (TB) is gelijk aan één biljoen bytes. De werkelijke gebruikerscapaciteit kan lager zijn als gevolg van de gebruiksomgeving.

Neem contact op met StorageReview

Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed