Supermicro 4U AMD EPYC GPU-servrar erbjuder AI-flexibilitet (AS-4125GS-TNRT)

Supermicro AS-4125GS-TNRT är en 4U luftkyld GPU-server som stöder två AMD EPYC 9004-seriens processorer, PCIe Gen5 och 8 dubbelbredds GPU:er.

Supermicro har länge erbjudit GPU-servrar i fler former och storlekar än vi har tid att diskutera i denna recension. Idag tittar vi på deras relativt nya 4U luftkylda GPU-server som stöder två AMD EPYC 9004-seriens processorer, PCIe Gen5, och ett val mellan åtta dubbelbredds eller 12 enkelbredds-tilläggs-GPU-kort. Medan Supermicro också erbjuder Intel-baserade varianter av dessa servrar, är den AMD-baserade AS-4125GS-TNRT-familjen de enda servrarna i denna klass som stöder NVIDIA H100 och AMD Instinct Mi210 GPU:er.

Supermicro AS-4125GS-TNRT GPU-servern har några andra hårdvaruhöjdpunkter som 10GbE-nätverk ombord, out-of-band-hantering, 9 FHFL PCIe Gen5-platser, 24 2.5-tumsfack, varav fyra är NVMe, och resten SATA/SAS. Det finns också 4x redundanta 2000W nätaggregat på titannivå. På moderkortet finns en enda M.2 NVMe-kortplats för uppstart.

Innan vi kommer för långt på den här vägen är det också värt att nämna att Supermicro erbjuder två andra varianter av AS-4125GS-TNRT-serverkonfigurationen. Medan de använder samma moderkort, är AS-4125GS-TNRT1 en konfiguration med en sockel med en PCIe-switch som stöder upp till 10 dubbelbredds GPU:er och 8 NVMe SSD-fack. AS -4125GS-TNRT2 är en dubbelprocessorkonfiguration som är mer eller mindre samma sak, återigen med PCIe-switchen.

Oavsett konfiguration är Supermicro AS-4125GS-TNRT otroligt flexibel tack vare sin design och möjlighet att välja modeller med PCIe-switchen. Denna typ av GPU-server är populär eftersom den tillåter organisationer att börja i det små och expandera, blanda och matcha GPU:er för olika behov, eller göra vad de vill. De sockelförsedda GPU-systemen ger möjligheten att bättre aggregera GPU:er för stora AI-arbetsbelastningar, men tilläggskortsystemen kan inte slås för flexibilitet i arbetsbelastningen.

Dessutom, även om detta kan komma som hädelse för vissa, kan Supermicro-tilläggskort GPU-servrar till och med användas med kort från AMD och NVIDIA i samma låda! Gasp, om du så vill, men många kunder har räknat ut att vissa arbetsbelastningar föredrar en Instinct, medan andra arbetsbelastningar som NVIDIA GPU. Slutligen, även om det är mindre populärt än GPU-servrar som är fyllda till gälarna, är det värt att nämna att dessa slots bara är PCIe-platser; det är inte orimligt att föreställa sig scenarier där kunder kanske föredrar FPGA:er, DPU:er eller någon annan form av accelerator i den här riggen. Återigen, flexibilitet är den stora fördelen med denna design.

För våra granskningsändamål kom Supermicro AS-4125GS-TNRT i barebones, redo för oss att lägga till CPU, DRAM, lagring och, naturligtvis, GPU:er. Vi arbetade med Supermicro för att låna 4x NVIDIA H100 GPU:er för denna recension.

Specifikationer för Supermicro AS-4125GS-TNRT

Supermicro AS-4125GS-TNRT Granska konfiguration

Vi konfigurerade vårt system från Supermicro som barebones, även om de till stor del säljer detta som ett konfigurerat system. När den kom till labbet var det första vi gjorde att fylla den med ett par AMD EPYC 9374F 32c 64t-processorer. Dessa valdes för sin höga klockhastighet och respektabla multi-core prestanda.

När det gäller acceleratorer hade vi en hel del att välja på, allt från gamla Intel Phi Coprocessors till de senaste H100 PCIe-korten till avancerade RTX 6000 ada-arbetsstations GPU:er. Vi strävade efter att balansera rå beräkningskraft med effektivitet och mångsidighet. Till slut bestämde vi oss för att börja med fyra NVIDIA RTX A6000 GPU:er och sedan gå vidare till fyra NVIDIA H100 PCIe-kort för våra första tester. Denna kombination demonstrerar Supermicro-plattformens flexibilitet och NVIDIA-acceleratorkorten.

RTX A6000, främst designad för prestanda i grafikintensiva arbetsbelastningar, utmärker sig också i AI- och HPC-applikationer med sin Ampere-arkitektur. Den erbjuder 48 GB GDDR6-minne, vilket gör den idealisk för att hantera stora datamängder och komplexa simuleringar. Dess 10,752 336 CUDA- och XNUMX Tensor-kärnor möjliggör accelererad beräkning, vilket är avgörande för våra AI- och djupinlärningstester.

Å andra sidan är NVIDIA H100 PCIe-korten de senaste fraktkorten i Hopper-arkitekturen, designade främst för AI-arbetsbelastningar. Varje kort har imponerande 80 miljarder transistorer, 80 GB HBM3-minne och den banbrytande Transformer Engine, skräddarsydd för AI-modeller som GPT-4. H100:s fjärde generationens Tensor Cores och DPX-instruktioner ökar AI-inferens och träningsuppgifter avsevärt.

Genom att integrera dessa GPU:er i vårt Supermicro barebones-system fokuserade vi på att säkerställa optimal värmehantering och kraftfördelning, med tanke på det betydande strömförbrukningen och värmegenereringen från dessa avancerade komponenter. Supermicro-chassit, även om det inte officiellt stöder en sådan konfiguration, visade sig vara tillräckligt mångsidigt för att rymma vår installation. För att hålla värmen i A6000-modellerna i schack, var vi tvungna att placera ut dem med en kortbredd på grund av ekorrburens fläktdesign, men H100:orna kan packas in med sina genomgående, passiva kylflänsar.

Vår benchmarking-svit inkluderade en blandning av HPC- och AI-specifika användningsfall. Dessa sträckte sig från traditionella benchmarking-arbetsbelastningar till AI-träning och slutledningsuppgifter med hjälp av konvolutionella neurala nätverksmodeller. Vi siktade på att pressa dessa acceleratorer till sina gränser, utvärdera deras råa prestanda och effektivitet, skalbarhet och enkel integration med vår Supermicro A+-server.

Supermicro AS-4125GS-TNRT GPU-testning

När vi går igenom flaggskepps-GPU:erna från NVIDIA medan vi arbetade på en CNN-grundmodell i labbet, började vi med träning på arbetsstationsnivå på ett par äldre men mycket kapabla RTX8000 Grafikprocessorer.

Under vår AI-prestandaanalys observerade vi en anmärkningsvärd men ändå förväntad utveckling av kapaciteten, från NVIDIA RTX 8000 till fyra RTX A6000 GPU:er och slutligen till fyra NVIDIA H100 PCIe-kort. Den här utvecklingen visade upp den råa kraften hos dessa acceleratorer och utvecklingen av NVIDIA-acceleratorerna under de senaste åren då mer och mer fokus läggs på AI-arbetsbelastningar.

Från och med RTX 8000 noterade vi anständiga prestandanivåer. Med den här inställningen tog vår AI-modellutbildning på en 6.36 GB bilddatauppsättning ungefär 45 minuter per epok. Begränsningarna för RTX 8000 var dock uppenbara när det gäller batchstorlek och komplexiteten i uppgifter som den kunde hantera. Vi var begränsade till mindre batchstorlekar och begränsade i komplexiteten hos de neurala nätverksmodeller som vi effektivt kunde träna.

Skiftet till fyra RTX A6000 GPU:er markerade ett betydande språng i prestanda. A6000:s överlägsna minnesbandbredd och större GDDR6-minne gjorde att vi kunde fyrdubbla batchstorleken samtidigt som vi bibehöll samma epoklängd och modellkomplexitet. Denna förbättring förbättrade träningsprocessen och gjorde det möjligt för oss att experimentera med mer sofistikerade modeller utan att förlänga träningstiden.

Det mest slående framstegen kom dock med introduktionen av fyra NVIDIA H100 PCIe-kort. Genom att utnyttja Hopper-arkitekturens förbättrade AI-funktioner tillät dessa kort oss att fördubbla batchstorleken igen. Mer imponerande är att vi avsevärt skulle kunna öka komplexiteten hos våra AI-modeller utan någon nämnvärd förändring i epokens varaktighet. Denna förmåga är ett bevis på H100:s avancerade AI-specifika funktioner, såsom Transformer Engine och 4:e generationens Tensor Cores, som är optimerade för att hantera komplexa AI-operationer effektivt.

Under dessa tester fungerade bilduppsättningen och modellparametrarna på 6.36 GB som ett konsekvent riktmärke, vilket gjorde det möjligt för oss att direkt jämföra prestandan mellan olika GPU-konfigurationer. Utvecklingen från RTX 8000 till A6000s, och sedan till H100s, lyfte fram förbättringar av rå processorkraft och GPU:ernas förmåga att hantera större, mer komplexa AI-arbetsbelastningar utan att kompromissa med hastighet eller effektivitet. Detta gör dessa GPU:er särskilt lämpliga för banbrytande AI-forskning och storskaliga tillämpningar för djupinlärning.

Supermicro-servern som används i våra tester har en direkt PCIe-anslutning till processorerna, vilket kringgår behovet av en PCIe-switch. Denna direktanslutning säkerställer att varje GPU har en dedikerad väg till CPU, vilket underlättar snabb och effektiv dataöverföring. Denna arkitektur är avgörande i vissa arbetsbelastningar i AI och HPC för att minimera latens och maximera bandbreddsutnyttjandet, särskilt fördelaktigt när man hanterar uppgifter med hög genomströmning som AI-modellutbildning eller komplexa VDI-miljöer när allt arbete är lokalt till servern.

Slutsats

Skalbarheten och flexibiliteten hos Supermicro GPU A+ Server AS-4125GS-TNRT-servern är de bästa funktionerna här. Det är särskilt fördelaktigt för kunder som behöver anpassa sig till föränderliga arbetsbelastningskrav, oavsett om det gäller AI, VDI eller andra högpresterande uppgifter. Från och med en blygsam konfiguration kan användare effektivt hantera AI- eller VDI-uppgifter på nybörjarnivå, och erbjuda en kostnadseffektiv lösning för mindre arbetsbelastningar eller de som precis har börjat ge sig in i AI och virtuell skrivbordsinfrastruktur. Den här initiala installationen ger en solid och skalbar grund som gör det möjligt för användare att engagera sig i grundläggande men ändå viktiga AI- och VDI-applikationer.

Dessutom, även om vi vet att många företag vill dra fördel av de sockelförsedda H100 GPU:erna, är väntetiderna för dessa plattformar överdrivna, vi har fått höra av många källor att väntan är nästan ett år. Försörjningskedjans logistik understryker det fantastiska med denna server, den kan hantera vad som helst. L40S GPU:er är tillgängliga "nu" så att kunderna åtminstone kan få fart på sina AI-arbetsbelastningar förr snarare än senare tillsammans med den här kombinationen. Och när behoven förändras kan kunderna enkelt byta kort. Detta säkerställer att Supermicro GPU A+ Server AS-4125GS-TNRT-servern inte bara är för omedelbara behov utan är framtidssäker och tillgodoser det föränderliga tekniska landskapet.

Produktsida för Supermicro 4U GPU-server

Engagera dig med StorageReview

Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Rssflöde