Dell PowerEdge XE9640 vätskekyld GPU-server Deep Dive

Dell PowerEdge XE9640 är en 4x GPU-accelererad rackmonterad server som kan leverera AI-kraft på ett energieffektivt sätt, tack vare vätskekylning. XE9640 tillkännagavs under SC22 tillsammans med XE8640 och en av våra favoriter, 8-vägs XE9680 GPU-server. Idag är XE9640 allmänt tillgänglig, och vi tar en djupdykning i den underliggande hårdvaran.

Dell GPU Accelerated Server Family

PowerEdge XE-servrarfamiljen är specialbyggd för komplexa AI- och HPC-arbetsbelastningar som kräver prestanda och tillförlitlighet. Dessa servrar är designade för att vara högpresterande, insiktsdrivna och intelligenta. Idag omfattar XE-serverfamiljen XE9680 (Nämnde vi att det var en Jordan-favorit?), XE9640, XE8640 och XE8545. Den röda tråden mellan alla dessa servrar är designen för att stödja en mängd olika AI-initiativ med ett kylningsalternativ som är vettigt för kunden.

Produkter	Syfte	Fördelar	Use Cases
XE9680	Designad för att öka insikterna med AI-acceleration designad för optimal prestanda och snabbast tid till värde	Utnyttja extrem prestanda för AI och HPC med 8x NVIDIA H100 eller A100 Tensor Core SXM GPU:er	Stora språkmodeller
		Smart luftkyld drift (upp till 35C) maximerar datakonvertering till resultat	Naturlig språkbehandling
		Smart luftkyld drift (upp till 35C) maximerar datakonvertering till resultat	Stor Rekommendation motorutbildning
			Modellering och simulering
			Digitala tvillingar och tillverkning
XE9640	Specialbyggd för att driva AI-initiativ i en mycket tät 2U, smart vätskekyld server	Få bättre resultat för AI med 4x NVIDIA H100 Tensor Core GPU eller 4x Intel Data Center Max OAM GPU	Naturlig språkbehandling
		Smarta vätskekylda CPU:er och GPU:er maximerar prestanda	Stor Rekommendation motorutbildning
		Lägre TCO med optimerad effektutnyttjandeeffektivitet	Modellering och simulering
			Artificiell intelligens, ML/DL Utbildning för objektigenkänning
XE8640	Kör arbetsbelastningar för AI, HPC och analys med överlägsen prestanda	Automatisera analys av insikter med 4x NVIDIA H100 GPU:er för ett brett utbud av applikationer	Mellanstor datamängd språk Modeller
		Kör luftkylt (upp till 35C) för att öka energieffektiviteten	Naturlig språkbehandling
		Skala upp verksamheten med intelligenta expansionsalternativ	Modellering och simulering
			Artificiell intelligens, ML/DL-träning och slutledning, bildigenkänning
XE8545	Mainstream AI och grafikapplikationsprestanda	Öka tränings- och slutledningsprestanda med 4x NVIDIA A100 GPU:er	Modellering och simulering, inklusive seismisk analys
		Luftkyld drift (upp till 35C) driver effektiv drift	Artificiell intelligens, ML/DL-träning och slutledning, bildigenkänning och Chatbot
		Lägre TCO med en balanserad prestanda/watt-lösning

Dell PowerEdge XE9640 – GPU-mångfald och vätskekylning

Ocuco-landskapet PowerEdge XE9640 erbjuder direkt vätskekylning (DLC) till GPUS och CPU:er tack vare ett djupt samarbete med partner CoolIT. Servern säljer några fläktar för att säkerställa att DRAM-, lagrings- och PCIe-expansionskorten får tillräckligt med luftflöde och kylning. Som sagt, dessa fläktar behöver inte arbeta vid max-varv/min, vilket sparar avsevärd ström.

PowerEdge XE9640 ger GPU-mångfald till bordet och erbjuder ett val mellan en 4x NVIDIA NVLink sammankopplade H100 SXM5 GPU 700W modul eller 4x Intel XeLink sammankopplad Intel Data Center GPU Max 1550 600W Open Compute Platform (OCP) Accelerator Module (OAM).

Tack vare teknologier som NVIDIA NVLink och Intel Xelink kommunicerar dessa GPU:er sömlöst och kombinerar effektivt deras minne och kärnor. Detta är särskilt fördelaktigt för att hantera minneskoherenta arbetsbelastningar som Large Language Models (LLM). Denna mångsidighet gör den lämplig för ett brett spektrum av AI-arbetsbelastningar. Naturligtvis är den uppenbara frågan, "Vad sägs om AMD Instinct?" Dell utvärderar ständigt ytterligare GPU-stöd men erbjuder ingen AMD-lösning i denna server vid lanseringen.

Denna GPU-mångfald låter användare möta de eskalerande kraven från generativ AI, industriell simuleringsmodellering och banbrytande vetenskaplig forskning. Till exempel har PowerEdge XE9640:s Intel Data Center GPU Max acceleratorfunktioner använts på Texas Advanced Computing Center (TACC) för deras Stampede3 superdator.

När det gäller densitet och kylning har PowerEdge XE9640 konstruerats och designats för att effektivt utnyttja rackutrymmet samtidigt som prestandan förbättras. Med sin kompakta 2RU-profil erbjuder denna server imponerande GPU-kapacitet per rack, vilket maximerar värdefullt datacenterutrymme. Med hjälp av DLC överträffar PowerEdge XE9640 traditionella luftkylda system när det gäller effektivitet och kostnadseffektivitet.

Dell PowerEdge XE9640 – Resten av hårdvaran

Utöver "bara" GPU:erna är ingenjörskonsten bakom XE-serien förstklassig. Vi postade precis en videorecension av XE9640 och XE8640. Videon ger utmärkta detaljer om designen, från diskåtkomst och routing av DLC-rören på XE9640 till sluten GPU-vätskekylning på XE8640 och vägen för framtida förbättringar på alla XE-servrar. Den är inbäddad nedan för referens.

Utöver XE9640, tar bort ramen för enkel åtkomst till NVMe-enheter. Två kortplatser på höger sida av chassit stöder NVMe boot-optimized storage subsystem (BOSS)-enheter och inkluderar HWRAID 1 via 2 x M.2 SSD:er. Idag tillhandahålls primär lagring via 4x U.2 Gen4 NVMe-enheter. Detta kommer att fördubblas i en framtida release tack vare ett alternativ för en SSD-fack för att stödja 8x E3.S Gen5 NVMe-enheter. Plattformen stöder inte HW RAID för U.2 NVMe-fack, även om de flesta inte kommer att behöva det. Många av dessa GPU-boxar utnyttjar enorma datauppsättningar externt. Lokal lagring, i det här fallet, kommer inte att vara den primära källan för dessa stora datamängder.

Naturligtvis finns det bra expansionsalternativ på baksidan av servern för AI-proffs som behöver utnyttja massiva lagringsuppsättningar. XE9640 stöder fyra PCIe Gen5-platser, två halvhöjda och två fullhöjda. Dessutom har du en PCIe Gen3 OCP NIC-kortplats.

För att lugna rädslan för en läcka inkluderar vätskekylda servrar läckagedetektering i iDRAC. Dells metod för att upptäcka läckor är ganska otrolig när du borrar i olika delar av chassit. Till exempel, i bilden av CPU-kylplattan nedan, kan du urskilja fina kopparspår i ett klippmönster runt hela vattenblocket. Om något vatten droppar på dessa anslutningar, upptäcker den öppna ledningsslingan en liten kortslutning och systemet vet att en läcka har inträffat. Flätad stållina används med en liknande detekteringsmetod i andra delar av chassit. Detta är synligt på vårt foto av huvudvätskedistributionsblocket med de många slangarna på framsidan av chassit. Dessutom har CoolIT CDU:erna och resten av slingan även läckagedetekteringsrapportering på många punkter längs vägen.

De luftkylda XE8640 och XE9680 inkluderar för övrigt även sluten GPU-vätskekylning med samma läckagedetektering genom iDRAC.

Optimera Power-Per-Rack

PowerEdge XE9640 ger kunderna möjlighet att finjustera sin kraft per rack. Med nio servrar per rack kan en toppbelastning av accelererad datoranvändning kräva cirka 41kW effekt, med en trefasig strömfördelning för balanserad prestanda. För uppskalning kan datacenter distribuera rack som innehåller 12, 18 eller till och med 21 PowerEdge XE9640-servrar, vilket uppnår effektnivåer på cirka 54kW, 81kW respektive 95kW. Denna anpassningsförmåga gör det möjligt för datacenter att optimera sin rackenergianvändning enligt specifika krav.

Dell har sammanställt en mängd olika resurser för att ge kunderna en omfattande inblick i PowerEdge XE9640. Detta inkluderar unboxing-videor och detaljerade produktrecensioner. Uppackningsvideon visar serverns design och funktioner, och erbjuder kunderna en visuell rundtur av dess möjligheter.

För att ytterligare betona fördelarna med PowerEdge XE9640 har Dell skapat en infografik som jämför den med dess luftkylda motsvarighet, PowerEdge XE8640. Den här infografiken framhäver de anmärkningsvärda skillnaderna hos PowerEdge XE9640, särskilt dess effektivitet i vätskekylning och imponerande GPU-kapacitet per rack.

Avslutande tankar

PowerEdge XE9640 är en integrerad del av Dells växande generativa AI-lösningar, designade för att revolutionera AI-arbetsbelastningar och främja innovation. Dells Generative AI-lösning kombinerar banbrytande teknik, innovation och tjänster som erbjuds av Dell Technologies för att leverera intelligentare och snabbare resultat. Genom att utnyttja kapaciteten hos generativ AI kan organisationer få nya insikter, påskynda sina transformationsansträngningar och förbättra arbetsstyrkans effektivitet.

Även om XE9680 kan förbli vår favorit bland Dell GPU-servrarna, har XE9640 tagit sig in i våra hjärtan rent ur ett effektivitets- och designperspektiv. 2U-chassit klämmer in en enorm mängd ingenjörskonst; datacenter för vätskekylning kommer helt klart att dras till dessa strömsnåla boxar. De fyra NVIDIA-modulerna tar 2800W för sig själva, så allt Dell kan göra för att hjälpa datacenter att bli mer rack- och energieffektiva är ett stort steg framåt.

Infographic