We wachten meestal tot het einde van het artikel om het hele plaatje te schetsen en de beoordeling te voltooien. De Dell PowerEdge XE9680 biedt echter zo'n opwindend stuk hardware dat we niet konden wachten om onze opwinding te delen met deze positieve recensie. Het ontwerp van Dell is gericht op de behoeften van AI en biedt een enorme hoeveelheid rekenkracht in een 6U-vormfactor. Dankzij de samenwerking van Dell met Intel en NVIDIA op de XE9680, hebben ze een aanbod bedacht dat niet alleen krachtig maar ook zeer efficiënt is.
We wachten meestal tot het einde van het artikel om het hele plaatje te schetsen en de beoordeling te voltooien. De Dell PowerEdge XE9680 biedt echter zo'n opwindend stuk hardware dat we niet konden wachten om onze opwinding te delen met deze positieve recensie. Het ontwerp van Dell is gericht op de behoeften van AI en biedt een enorme hoeveelheid rekenkracht in een 6U-vormfactor. Dankzij de samenwerking van Dell met Intel en NVIDIA op de XE9680, hebben ze een aanbod bedacht dat niet alleen krachtig maar ook zeer efficiënt is.
Dell PowerEdge XE9680
De specificaties zijn ronduit indrukwekkend; twee 4e generatie Intel Xeon schaalbare processors, elk 56 cores, en 2 TB DDR5-ram vormen de CPU-backbone voor de AI-versnellers. Door vervolgens de acht NVIDIA HGX H100 of A100 GPU's toe te voegen, verbonden op SXM en samen via NVLink, is de server uitgerust om de grootste modellen en dataworkloads aan te kunnen.
De capaciteit van de PowerEdge XE9680 voor grote RAM-volumes (tot 4 TB) biedt een aanzienlijk concurrentievoordeel bij het afhandelen van AI-workloads. Dergelijke grote geheugenvoetafdrukken maken de training van complexere modellen mogelijk, wat leidt tot hogere prestaties en nauwkeurigere resultaten.
Onze configuraties bevatten 8x U.2 NVMe SSD-bays aan de voorkant. Maar net zoals we zagen met de R660, is Dell van plan om ook een E3.S-backplane aan te bieden, met 16x E3.S SSD's. De server ondersteunt ook de NVMe BOSS-N1-bootdrive-installatie aan de achterkant van de server.
Het gaat om meer dan alleen macht
De PowerEdge XE9680 draait niet alleen om kracht; het geeft ook prioriteit aan beveiliging en beheersbaarheid. Met functies zoals cryptografisch ondertekende firmware, Data at Rest Encryption en Secure Boot zorgt de server ervoor dat uw gegevens altijd beschermd zijn. Het ingebouwde iDRAC9-systeem biedt een gebruiksvriendelijke beheerinterface en biedt een verscheidenheid aan tools en integraties die het beheer van de server eenvoudig en probleemloos maken.
We hebben dit systeem op de proef gesteld toen we de installatie van het besturingssysteem wilden wijzigen (hierover later meer) op de server, en het was eenvoudiger om de functie Cryptographic Erase van de iDRAC te gebruiken met slechts een paar klikken om met een schoon systeem te beginnen werken met.
nvidia-smi op de XE9680 met H100-kaarten
Eerder keken we naar de whitepaper van Dell op de XE9680 en de prestaties van de Dell PowerEdge XE9680-server wanneer geëvalueerd ten opzichte van de latentiebenchmarks voor het genereren van afbeeldingen die zijn ingesteld door Lambda. De server leverde ongeveer het dubbele van de doorvoer, wat een bewijs is van de kracht en efficiëntie van de PowerEdge XE9680.
De MLPerf-scores zijn algemeen bekend en worden geaccepteerd als een goede positionering van de prestaties van systemen in deze klasse, dus om te profiteren van onze hands-on tijd met de XE9680 A100- en H100-servers, hebben we besloten een onderlinge vergelijking uit te voeren van fijne- afstemming van Meta's LLaMa met de twee systemen. Om dit te doen, volgden we Stanford's Alpaca-trainingsstappen, die ze volbrachten met behulp van 4x A100-systemen.
Alpacatraining op de XE9680
We willen de teams van NVIDIA en Dell bedanken voor hun hulp bij dit project. Dit is zo'n geavanceerde technologie vanuit hardware- en softwareperspectief dat het zonder de begeleiding van experts uit de industrie van beide bedrijven een veel langduriger en intensiever proces zou zijn geweest.
Op het A100-systeem konden we, met behulp van het proces dat wordt beschreven op de Stanford Alpaca Git Hub, de stappen reproduceren om de Alpaca-controlepunten te maken en de drie trainingsperioden te voltooien, gemiddeld ongeveer 90 minuten.
Toen we overgingen op het H100-systeem, zagen we een verbetering met runs die in ongeveer 70 minuten per run werden voltooid. Vanwege de grote vraag en de beperkte aard van deze systemen hadden we niet de mogelijkheid om de code zelf af te stemmen om mogelijke prestatieverbeteringen te onderzoeken. tijd met finetunen.
Officieel onofficieel
Op de XE100 met A9680-smaak kregen we de kans om wat out-of-the-box en zeer onorthodoxe tests uit te voeren. We hebben Windows Server 2022 op het systeem geïnstalleerd! Dit omvatte het wissen van iDRAC-schijven om de Linux-installatie te verwijderen, enkele trucs met iDRAC .iso-bestanden en virtuele media om Intel Network-stuurprogramma's te sideloaden, en vanaf daar was het op naar de races. De chipsetschijven van een vergelijkbaar Dell PowerEdge-systeem gebruiken en vervolgens officiële NVIDIA A100-stuurprogramma's.
Het systeem werkt en is stabiel zonder problemen. Dit is echter een zeer ongebruikelijke use-case die Dell niet officieel ondersteunt. Dus gewapend met onze verse Windows-installatie en acht van de beste GPU's op de markt, hebben we dat gedaan waar we goed in zijn, maatstaf Pi!
De acht NVIDIA A100-kaarten verpletterden gemakkelijk GPU-Pi-wereldrecords zonder enige afstemming, en de Xeon Platinum-CPU's leverden geweldige cijfers op voor zowel y-cruncher als Cinebench. We hebben een paar van onze andere standaard CPU/GPU-benchmarks geprobeerd met weinig hoop dat ze zouden werken, en zoals verwacht kwamen we software-/encoderproblemen tegen die succesvolle runs verhinderden. Procyon begreep bijvoorbeeld niet eens dat het Tensor GPU's beschikbaar had om de test te doen.
Nogmaals, we moeten herhalen dat dit gewoon een test was van een niet-ondersteunde configuratie, en het feit dat we überhaupt iets hebben laten werken is indrukwekkend en een bewijs van het vermogen van Dell om consistente hardware op verschillende platforms te produceren. Het gebruik van Windows Server op dit type systeem in elke productieomgeving zou onverstandig zijn.
| test | Resultaat |
| Cinebench Multi | 90,710 |
| Cinebench Single | 174 |
| CB MP Rantsoen | 77.24 |
| Geekbench6 GPU | 197,669 |
| Geekbench 6 Single | 1,678 |
| Geekbench6 Multi | 16,425 |
| monster: |
855.080461 monsters per minuut
|
| Junkshop: |
546.636998 monsters per minuut
|
| Klas: |
394.441850 monsters per minuut
|
| GPU Pi 3.2 1 miljard | 0.394 seconden |
| GPU Pi 3.3 1 miljard | 0.317 seconden |
Het is vermeldenswaard dat dergelijke indrukwekkende prestaties zich niet alleen vertalen in snelheid, maar ook van invloed zijn op de praktische toepassing van AI. Met snellere omscholings- en afstemmingsmogelijkheden kunnen bedrijven hun wendbaarheid aanzienlijk verbeteren, waardoor ze snel kunnen reageren op marktveranderingen, klantbehoeften en interne vereisten. Ontwerpteams kunnen bijvoorbeeld concepten in realtime evalueren en verfijnen, waardoor de time-to-market aanzienlijk wordt verkort, of nalevingsteams kunnen voortdurend bijgewerkte modellen trainen en verfijnen met de nieuwste beleidsregels en procedures voor een assistent-type LLM.
Operaties transformeren met behulp van generatieve AI
De Dell PowerEdge XE9680 kan generatieve AI faciliteren bij het transformeren van verschillende industriële activiteiten. Stelt u zich een winkelscenario voor waarin AI snel realistische afbeeldingen kan genereren van verschillende productconfiguraties of kleuropties op basis van klantvoorkeuren, of een bouwbedrijf dat visualisaties maakt van nieuwe gebouwen voor planning en verkooppresentaties. De mogelijkheden zijn fascinerend.
De Dell PowerEdge XE9680 biedt een fantastische combinatie van kracht, efficiëntie en veelzijdigheid. Het is een krachtige server die met gemak veeleisende AI-workloads aankan. En hoewel het specifiek is ontworpen om tegemoet te komen aan AI-workloads, bieden zijn mogelijkheden het potentieel om nuttig te zijn voor andere toepassingen.
In combinatie met de inzet van Dell om organisaties te helpen bij het uitvoeren van hun AI-projecten via ProjectHelix, is de PowerEdge XE9680 een opwindend voorstel en een van de beste hardware-innovaties die we het hele jaar hebben gezien. Met zijn vermogen om brute kracht, verfijnde finesse en levenscyclusbeheer op bedrijfsniveau te leveren, is het geen wonder dat de Dell PowerEdge XE9680 hard op weg is een ambitieuze favoriet te worden onder de bedrijfsservers.
Neem contact op met StorageReview
Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
