Présentation approfondie du serveur GPU à refroidissement liquide Dell PowerEdge XE9640

Le Dell PowerEdge XE9640 est un serveur rackable à quatre GPU, capable de fournir une puissance d'IA optimale tout en optimisant sa consommation énergétique grâce à son système de refroidissement liquide. Annoncé lors de la conférence SC22 en même temps que le XE8640 et l'un de nos serveurs préférés, le XE9680 à huit GPU, le XE9640 est désormais disponible pour tous. Nous analysons en détail son matériel.

Famille de serveurs Dell accélérés par GPU

La gamme de serveurs PowerEdge XE est spécialement conçue pour les charges de travail complexes d'IA et de calcul haute performance (HPC) exigeant performance et fiabilité. Ces serveurs sont conçus pour offrir des performances élevées, une analyse approfondie des données et une intelligence embarquée. La gamme XE comprend aujourd'hui les modèles XE9680 (un des préférés de Jordan, d'ailleurs !), XE9640, XE8640 et XE8545. Leur point commun ? Une conception permettant de prendre en charge un large éventail d'initiatives d'IA, avec une option de refroidissement adaptée aux besoins du client.

Produits	Interet	Les Avantages	Cas d'usage
XE9680	Conçu pour améliorer les informations grâce à une accélération de l'IA conçue pour des performances optimales et un délai de rentabilisation le plus rapide	Bénéficiez de performances extrêmes pour l'IA et le HPC avec 8 GPU NVIDIA H100 ou A100 Tensor Core SXM	grands modèles linguistiques
		Le fonctionnement intelligent refroidi par air (jusqu'à 35 °C) maximise la conversion des données en résultats	Traitement du langage naturel
		Le fonctionnement intelligent refroidi par air (jusqu'à 35 °C) maximise la conversion des données en résultats	Formation sur le moteur de grandes recommandations
			Modélisation et simulation
			Jumeaux numériques et fabrication
XE9640	Spécialement conçu pour piloter les initiatives d'IA dans un serveur intelligent 2U hautement dense et refroidi par liquide	Obtenez de meilleurs résultats pour l'IA avec 4 GPU NVIDIA H100 Tensor Core ou 4 GPU Intel Data Center Max OAM	Traitement du langage naturel
		Les processeurs et GPU intelligents refroidis par liquide optimisent les performances	Formation sur le moteur de grandes recommandations
		Coût total de possession réduit grâce à une efficacité d'utilisation de l'énergie optimisée	Modélisation et simulation
			Intelligence Artificielle, Formation ML/DL pour la reconnaissance d'objets
XE8640	Pilotez les charges de travail d’IA, HPC et d’analyse avec des performances supérieures	Automatisez l'analyse des informations avec 4 GPU NVIDIA H100 pour une large gamme d'applications	Modèles de langage de jeu de données moyen
		Fonctionne avec refroidissement par air (jusqu'à 35 °C) pour augmenter l'efficacité énergétique	Traitement du langage naturel
		Augmentez les opérations avec des options d’expansion intelligentes	Modélisation et simulation
			Intelligence artificielle, formation et inférence ML/DL, reconnaissance d'images
XE8545	Performances grand public des applications d’IA et graphiques	Améliorez les performances d'entraînement et d'inférence avec 4 GPU NVIDIA A100	Modélisation et simulation, y compris analyse sismique
		Le fonctionnement refroidi par air (jusqu'à 35 °C) permet un fonctionnement efficace	Intelligence artificielle, formation et inférence ML/DL, reconnaissance d'images et Chatbot
		Réduisez le TCO avec une solution équilibrée performance/watt

Dell PowerEdge XE9640 – Diversité GPU et refroidissement liquide

Le PowerEdge XE9640 offre un refroidissement liquide direct (DLC) pour les GPU et les CPU grâce à un partenariat étroit avec CoolIT. Le serveur est livré avec quelques ventilateurs pour assurer une ventilation et un refroidissement optimaux de la mémoire DRAM, du stockage et des cartes d'extension PCIe. Toutefois, ces ventilateurs n'ont pas besoin de fonctionner à plein régime, ce qui permet de réaliser d'importantes économies d'énergie.

Le PowerEdge XE9640 offre une diversité de GPU, avec un choix entre un module GPU H100 SXM5 700W interconnecté par 4 NVIDIA NVLink ou un module d'accélération Open Compute Platform (OCP) (OAM) Intel Data Center GPU Max 1550 600W interconnecté par 4 Intel XeLink.

Grâce à des technologies telles que NVIDIA NVLink et Intel Xelink, ces GPU communiquent de manière transparente, mutualisant efficacement leur mémoire et leurs cœurs. Ceci est particulièrement avantageux pour gérer des charges de travail cohérentes avec la mémoire, telles que les grands modèles linguistiques (LLM). Cette polyvalence le rend adapté à un large éventail de charges de travail d’IA. Bien sûr, la question évidente est : « Qu’en est-il d’AMD Instinct ? Dell évalue constamment la prise en charge supplémentaire du GPU mais ne propose pas de solution AMD sur ce serveur au lancement.

Cette diversité de GPU permet aux utilisateurs de répondre aux exigences croissantes de l'IA générative, de la modélisation de simulation industrielle et de la recherche scientifique de pointe. Par exemple, les capacités d'accélération GPU Intel Data Center Max du PowerEdge XE9640 ont été mises à profit au Texas Advanced Computing Center (TACC) pour son supercalculateur Stampede3.

En termes de densité et de refroidissement, le PowerEdge XE9640 a été conçu et conçu pour utiliser efficacement l'espace rack tout en améliorant les performances. Avec son profil compact 2RU, ce serveur offre une capacité GPU impressionnante par rack, maximisant ainsi l'espace précieux du centre de données. Utilisant le DLC, le PowerEdge XE9640 surpasse les systèmes traditionnels refroidis par air en termes d'efficacité et de rentabilité.

Dell PowerEdge XE9640 – Le reste du matériel

Au-delà des simples GPU, la conception de la série XE est d'une qualité exceptionnelle. Nous venons de publier un test vidéo des XE9640 et XE8640 . Cette vidéo présente en détail la conception, depuis l'accès aux disques et le routage des tuyaux DLC sur le XE9640 jusqu'au système de refroidissement liquide en circuit fermé du GPU sur le XE8640, en passant par les perspectives d'amélioration pour tous les serveurs XE. Vous pouvez la visionner ci-dessous.

Outre le XE9640, le retrait du cadre permet un accès facile aux disques NVMe. Deux emplacements sur le côté droit du châssis prennent en charge les disques du sous-système de stockage optimisé au démarrage (BOSS) NVMe et incluent HWRAID 1 via 2 SSD M.2. Aujourd'hui, le stockage principal est fourni via 4 disques NVMe U.2 Gen4. Cela doublera dans une prochaine version grâce à une option pour un plateau SSD pour prendre en charge 8 disques NVMe E3.S Gen5. La plate-forme ne prend pas en charge HW RAID pour les baies U.2 NVMe, même si la plupart n'en auront pas besoin. Beaucoup de ces boîtiers GPU exploitent des ensembles de données massifs en externe. Dans ce cas, le stockage local ne sera pas la principale source de ces grands ensembles de données.

Bien sûr, il existe de bonnes options d'extension à l'arrière du serveur pour les professionnels de l'IA qui ont besoin d'exploiter d'énormes baies de stockage. Le XE9640 prend en charge quatre emplacements PCIe Gen5, deux demi-hauteur et deux pleine hauteur. De plus, vous disposez d’un emplacement NIC PCIe Gen3 OCP.

Pour apaiser les craintes de fuite, les serveurs refroidis par liquide incluent des rapports de détection de fuite dans iDRAC. La méthode de Dell pour détecter les fuites est assez incroyable lorsque vous explorez différentes parties du châssis. Par exemple, sur la photo de la plaque de refroidissement du processeur ci-dessous, vous pouvez distinguer de fines traces de cuivre selon un motif ébréché autour de l'ensemble du bloc d'eau. Si de l'eau coule sur ces connexions, la boucle de câblage ouverte détecte un petit court-circuit et le système sait qu'une fuite s'est produite. Le câble métallique tressé est utilisé avec une méthode de détection similaire dans d’autres parties du châssis. Ceci est visible sur notre photo du bloc principal de distribution de liquide avec les nombreuses durites à l'avant du châssis. De plus, les CDU CoolIT et le reste de la boucle disposent également de rapports de détection de fuites à de nombreux moments du processus.

Par ailleurs, les XE8640 et XE9680 refroidis par air incluent également un refroidissement liquide GPU en boucle fermée avec la même détection de fuite via iDRAC.

Optimisation de la puissance par rack

Le PowerEdge XE9640 offre aux clients la possibilité d'affiner leur utilisation de la puissance par rack. Avec neuf serveurs par rack, une charge de pointe de calcul accéléré peut nécessiter environ 41 kW de puissance, en utilisant une distribution d'énergie triphasée pour des performances équilibrées. Pour évoluer, les centres de données peuvent déployer des racks abritant 12, 18 ou même 21 serveurs PowerEdge XE9640, atteignant des niveaux de puissance d'environ 54 kW, 81 kW et 95 kW, respectivement. Cette adaptabilité permet aux centres de données d'optimiser la consommation électrique de leurs racks en fonction d'exigences spécifiques.

Dell a compilé diverses ressources pour fournir aux clients un aperçu complet du PowerEdge XE9640. Cela comprend des vidéos de déballage et des critiques détaillées des produits. La vidéo de déballage présente la conception et les fonctionnalités du serveur, offrant aux clients une visite visuelle de ses capacités.

Pour mieux mettre en valeur les atouts du PowerEdge XE9640, Dell a créé une infographie le comparant à son homologue refroidi par air, le PowerEdge XE8640 . Cette infographie souligne les différences notables du PowerEdge XE9640, notamment son efficacité en matière de refroidissement liquide et son impressionnante capacité de GPU par rack.

Réflexions finales

Le PowerEdge XE9640 fait partie intégrante des solutions d'IA générative en pleine expansion de Dell, conçues pour révolutionner les charges de travail d'IA et favoriser l'innovation. La solution d'IA générative de Dell combine une technologie de pointe, l'innovation et les services proposés par Dell Technologies pour fournir des résultats plus intelligents et plus rapides. En exploitant les capacités de l’IA générative, les organisations peuvent obtenir de nouvelles informations, accélérer leurs efforts de transformation et améliorer l’efficacité de leur personnel.

Bien que le XE9680 reste notre préféré parmi les serveurs GPU Dell, le XE9640 a gagné sa place dans nos cœurs uniquement du point de vue de l'efficacité et de la conception. Le châssis 2U intègre une énorme quantité d'ingénierie ; Les centres de données basés sur le refroidissement liquide seront clairement attirés par ces boîtiers économes en énergie. Les quatre modules NVIDIA consomment 2800 XNUMX W pour eux-mêmes, donc tout ce que Dell peut faire pour aider les centres de données à être plus économes en énergie et en rack constitue un pas de géant en avant.

Infographiques