Dell PowerEdge XE9680 recension: Min favoritserver någonsin testad

Vi brukar vänta till slutet av artikeln för att måla upp hela bilden och slutföra recensionen. Dock presenterar Dell PowerEdge XE9680 en så spännande hårdvara att vi inte kunde vänta med att dela vår spänning med denna positiva recension. Dells design är centrerad kring behoven hos AI, vilket ger en enorm mängd beräkningskraft i en 6U-formfaktor. Tack vare Dells partnerskap med Intel och NVIDIA på XE9680 har de kommit fram till ett erbjudande som inte bara är kraftfullt utan mycket effektivt.

Dell PowerEdge XE9680 med kylfläns på toppen

Dell PowerEdge XE9680

Dess specifikationer är inget annat än imponerande; två 4:e generationens Intel Xeon-skalbara processorer, 56 kärnor vardera och 2 TB DDR5-ram ger CPU-ryggraden för AI-acceleratorerna. Lägg sedan till de åtta NVIDIA HGX H100 eller A100 GPU:erna, anslutna på SXM och tillsammans via NVLink, servern är utrustad för att hantera de största modellerna och dataarbetsbelastningarna.

Dell PowerEdge XE9680 RAM

PowerEdge XE9680:s kapacitet för stora RAM-volymer (upp till 4 TB) ger en betydande konkurrensfördel vid hantering av AI-arbetsbelastningar. Sådana stora minnesfootprints möjliggör träning av mer komplexa modeller, vilket leder till högre prestanda och mer exakta resultat.

Våra konfigurationer inkluderar 8x U.2 NVMe SSD-fack i fronten. Men precis som vi såg med R660, Dell har för avsikt att erbjuda ett E3.S-bakplan också, med 16x E3.S SSD:er. Servern stöder även NVMe BOSS-N1 boot drive riggen på serverns baksida.

Det handlar om mer än bara kraft

PowerEdge XE9680 handlar inte bara om kraft; den prioriterar också säkerhet och hanterbarhet. Med funktioner som kryptografiskt signerad firmware, Data at Rest Encryption och Secure Boot, säkerställer servern att din data alltid är skyddad. Det inbäddade iDRAC9-systemet ger ett lättanvänt hanteringsgränssnitt som erbjuder en mängd olika verktyg och integrationer som gör hanteringen av servern enkel och problemfri.

Dell PowerEdge XE9680 iDRAC GPU:er

Vi testade detta system när vi ville växla upp OS-installationen (mer om detta senare) på servern, och det var enklare att använda funktionen Cryptographic Erase i iDRAC:n med bara några få klick för att börja med ett rent system att arbeta med.

nvidia-smi på XE9680 med H100-kort

Tidigare har vi tittat på Dells whitepaper på XE9680 och prestandan hos Dell PowerEdge XE9680-servern när den utvärderas mot de riktmärken för bildgenerering som har satts av Lambda. Servern levererade ungefär dubbelt så mycket genomströmning, vilket är ett bevis på kraften och effektiviteten hos PowerEdge XE9680.

MLPerf gör mål är allmänt kända och accepterade som en bra placering av prestanda hos system i denna klass, så för att dra fördel av vår praktiska tid med XE9680 A100 och H100-servrarna, bestämde vi oss för att göra en direkt jämförelse av fin- trimma Metas LLaMa med de två systemen. För att göra detta följde vi Stanfords Alpaca-träningssteg, som de åstadkom med 4x A100-system.

Dell XE9680

Alpakkaträning på XE9680

Vi vill tacka teamen på NVIDIA och Dell för deras hjälp med detta projekt. Detta är en så banbrytande teknik ur ett hård- och mjukvaruperspektiv att utan vägledning av branschexperter från båda företagen skulle det ha varit en mycket mer utdragen, intensiv process.

På A100-systemet, med den process som beskrivs på Stanford Alpaca Git Hub, kunde vi återskapa stegen för att skapa Alpaca-kontrollpunkterna och slutföra de tre epokerna av träning, i genomsnitt cirka 90 minuter.

När vi flyttade till H100-systemet såg vi en förbättring med körningar som genomfördes på cirka 70 minuter per körning. På grund av den höga efterfrågan och begränsade karaktären hos dessa system hade vi inte möjlighet att justera själva koden för att utforska möjliga prestandaförbättringar, och det var tydligt att med förfining och tid som ägnas åt utveckling, kunde ett företagsteam uppnå en snabb vändning tid med finjustering.

Officiellt inofficiellt

På den A100-smaksatta XE9680 hade vi en möjlighet att göra lite out-the-box och mycket oortodoxa tester. Vi installerade Windows Server 2022 på systemet! Detta involverade några iDRAC-disktorkar för att ta bort Linux-installationen, några tricks med iDRAC .iso-filer och virtuella media för att sidolasta Intel Network-drivrutiner, och därifrån bar det iväg till tävlingarna. Använda styrkretsen drivs från ett jämförbart Dell PowerEdge-system och sedan officiella NVIDIA A100-drivrutiner.

Dell PowerEdge XE9680 Windows NVIDIA

Systemet fungerar och är stabilt utan problem. Detta är dock ett mycket ovanligt användningsfall som Dell inte officiellt stöder. Så beväpnade med vår nya Windows-installation och åtta av de bästa grafikprocessorerna på marknaden gjorde vi det vad vi gör bäst, benchmark Pi!

De åtta NVIDIA A100-korten slog enkelt GPU-Pi-världsrekord utan någon justering, och Xeon Platinum-processorerna gav upp några fantastiska siffror på både y-cruncher och Cinebench. Vi provade några av våra andra standard-CPU/GPU-riktmärken med lite hopp om att de skulle fungera, och som förväntat stötte vi på problem med programvara/kodare som förhindrade framgångsrika körningar. Procyon, till exempel, förstod inte ens att den hade Tensor GPU:er tillgängliga för att göra testet.

Återigen måste vi upprepa att detta helt enkelt var ett test av en konfiguration som inte stöds, och det faktum att vi fick något att fungera överhuvudtaget är imponerande och ett bevis på Dells förmåga att producera konsekvent hårdvara över plattformar. Att använda Windows Server på den här typen av system i vilken produktionsmiljö som helst skulle vara oklokt.

Testa	Resultat
Cinebench Multi	90,710
Cinebench singel	174
CB MP-ranson	77.24

Geekbench 6 GPU	197,669
Geekbench 6 singel	1,678
Geekbench6 Multi	16,425

monster:	855.080461 prover per minut
Junkshop:	546.636998 prover per minut
Klassrum:	394.441850 prover per minut

GPU Pi 3.2 1 miljard	0.394 sekunder
GPU Pi 3.3 1 miljard	0.317 sekunder

Det är värt att notera att en sådan imponerande prestanda inte bara översätts till hastighet utan också påverkar den praktiska tillämpningen av AI. Med snabbare omskolnings- och finjusteringsförmåga kan företag förbättra sin smidighet avsevärt, vilket gör att de snabbt kan reagera på marknadsförändringar, kundbehov och interna krav. Till exempel kan designteam utvärdera och förfina koncept i realtid, vilket avsevärt minskar tiden till marknaden, eller efterlevnadsteam kan kontinuerligt träna och finjustera uppdaterade modeller med de senaste policyerna och procedurerna för en LLM av assistenttyp.

Transformera operationer med generativ AI

Dell PowerEdge XE9680 kan underlätta generativ AI vid omvandling av flera industrioperationer. Föreställ dig ett detaljhandelsscenario där AI snabbt kan generera realistiska bilder av olika produktkonfigurationer eller färgalternativ baserat på kundens preferenser eller ett byggföretag som skapar visualiseringar av nya byggnader för planering och försäljningspresentationer. Möjligheterna är fascinerande.

Dell PowerEdge XE9680 erbjuder en fantastisk blandning av kraft, effektivitet och mångsidighet. Det är en högpresterande server som enkelt kan hantera krävande AI-arbetsbelastningar. Och även om den är speciellt utformad för att tillgodose AI-arbetsbelastningar, ger dess kapacitet den potential att vara användbar för andra applikationer.

Tillsammans med Dells engagemang för att hjälpa organisationer att genomföra sina AI-projekt via Projekt Helix, PowerEdge XE9680 är ett spännande förslag och en av de bästa hårdvaruinnovationerna vi har sett under hela året. Med sin förmåga att leverera råkraft, raffinerad finess och livscykelhantering i företagsklass är det inte konstigt att Dell PowerEdge XE9680 snabbt håller på att bli en ambitiös favorit bland företagsservrar.