Nous attendons généralement la fin de l'article pour peindre le tableau d'ensemble et terminer l'examen. Cependant, le Dell PowerEdge XE9680 présente un matériel tellement excitant que nous étions impatients de partager notre enthousiasme avec cette critique positive. La conception de Dell est centrée sur les besoins de l'IA, fournissant une immense puissance de calcul dans un format 6U. Grâce au partenariat de Dell avec Intel et NVIDIA sur le XE9680, ils ont mis au point une offre non seulement puissante mais très efficace.
Dell PowerEdge XE9680
Ses spécifications sont tout simplement impressionnantes; deux processeurs Intel Xeon Scalable de 4e génération, 56 cœurs chacun, et 2 To de RAM DDR5 fournissent l'épine dorsale du processeur pour les accélérateurs AI. En ajoutant ensuite les huit GPU NVIDIA HGX H100 ou A100, connectés sur SXM et ensemble via NVLink, le serveur est équipé pour gérer le plus grand des modèles et des charges de travail de données.
La capacité du PowerEdge XE9680 pour les grands volumes de RAM (jusqu'à 4 To) offre un avantage concurrentiel significatif dans la gestion des charges de travail d'IA. Ces grandes empreintes mémoire permettent la formation de modèles plus complexes, conduisant à des performances plus élevées et des résultats plus précis.
Nos configurations incluent huit baies SSD NVMe U.2 en façade. Mais comme pour le R660 , Dell prévoit également de proposer un fond de panier E3.S, avec seize SSD E3.S. Le serveur prend également en charge le système de démarrage NVMe BOSS-N1 à l'arrière.
C'est plus qu'une question de puissance
Le PowerEdge XE9680 n'est pas qu'une question de puissance ; il donne également la priorité à la sécurité et à la gérabilité. Avec des fonctionnalités telles que le micrologiciel signé par chiffrement, le chiffrement des données au repos et le démarrage sécurisé, le serveur garantit que vos données sont toujours protégées. Le système iDRAC9 intégré fournit une interface de gestion facile à utiliser, offrant une variété d'outils et d'intégrations qui rendent la gestion du serveur simple et sans tracas.
Nous avons mis ce système à l'épreuve lorsque nous avons voulu changer l'installation du système d'exploitation (plus à ce sujet plus tard) sur le serveur, et il était plus simple d'utiliser la fonction d'effacement cryptographique de l'iDRAC en quelques clics seulement pour démarrer avec un système propre travailler avec.
nvidia-smi sur le XE9680 avec les cartes H100
Nous avons précédemment analysé le livre blanc de Dell sur le XE9680 et les performances du serveur Dell PowerEdge XE9680, évaluées selon les critères de latence de génération d'images définis par Lambda. Le serveur a affiché un débit environ deux fois supérieur, ce qui témoigne de la puissance et de l'efficacité du PowerEdge XE9680.
Les scores MLPerf sont largement reconnus et considérés comme un bon indicateur de performance pour les systèmes de cette catégorie. Afin de tirer parti de notre expérience pratique avec les serveurs XE9680 A100 et H100, nous avons décidé de réaliser une comparaison directe de l'optimisation de LLaMa de Meta sur ces deux systèmes. Pour ce faire, nous avons suivi la procédure d'entraînement Alpaca de Stanford, réalisée à l'aide de quatre systèmes A100.
Formation d'alpaga sur le XE9680
Nous tenons à remercier les équipes de NVIDIA et de Dell pour leur aide dans ce projet. Il s'agit d'une technologie de pointe d'un point de vue matériel et logiciel que sans les conseils d'experts de l'industrie des deux sociétés, cela aurait été un processus beaucoup plus long et intensif.
Sur le système A100, en utilisant le processus décrit sur le Stanford Alpaca Git Hub, nous avons pu reproduire les étapes pour créer les points de contrôle Alpaca en complétant les trois époques de formation, en moyenne environ 90 minutes.
En passant au système H100, nous avons constaté une amélioration avec des cycles effectués en environ 70 minutes par cycle. En raison de la forte demande et de la nature limitée de ces systèmes, nous n'avons pas eu l'occasion d'ajuster le code lui-même pour explorer d'éventuelles améliorations de performances, et il était clair qu'avec le raffinement et le temps consacré au développement, une équipe d'entreprise pourrait réaliser un virage rapide temps avec un réglage fin.
Officiellement non officiel
Sur le XE100 à saveur A9680, nous avons eu l'occasion de faire des tests hors des sentiers battus et très peu orthodoxes. Nous avons installé Windows Server 2022 sur le système ! Cela impliquait des effacements de lecteur iDRAC pour supprimer l'installation Linux, quelques astuces avec les fichiers iDRAC .iso et les supports virtuels pour charger les pilotes réseau Intel, et à partir de là, c'était parti pour les courses. Utilisation des lecteurs de chipset d'un système Dell PowerEdge comparable, puis des pilotes NVIDIA A100 officiels.
Le système fonctionne et est stable sans aucun problème. Cependant, il s'agit d'un cas d'utilisation très inhabituel que Dell ne prend pas officiellement en charge. Alors, forts de notre installation Windows toute neuve et de huit des meilleures cartes graphiques du marché, nous avons fait ce que nous faisons de mieux : tester les performances du Raspberry Pi !
Les huit cartes NVIDIA A100 ont facilement battu les records du monde GPU-Pi sans aucun réglage, et les processeurs Xeon Platinum ont généré de grands chiffres à la fois sur y-cruncher et Cinebench. Nous avons essayé quelques-uns de nos autres benchmarks CPU/GPU standard avec peu d'espoir qu'ils fonctionnent, et comme prévu, nous avons rencontré des problèmes de logiciel/encodeur qui ont empêché des exécutions réussies. Procyon, par exemple, n'a même pas compris qu'il disposait de GPU Tensor pour effectuer le test.
Encore une fois, nous devons répéter qu'il s'agissait simplement d'un test d'une configuration non prise en charge, et le fait que tout fonctionne est impressionnant et témoigne de la capacité de Dell à produire du matériel cohérent sur toutes les plates-formes. L'utilisation de Windows Server sur ce type de système dans n'importe quel environnement de production serait imprudente.
| Test | Résultat |
| Cinebench Multi | 90,710 |
| Cinebench simple | 174 |
| Ration MP CB | 77.24 |
| Carte graphique Geekbench 6 | 197,669 |
| Geekbench 6 Unique | 1,678 |
| Geekbench6 Multi | 16,425 |
| Monstre: |
855.080461 échantillons par minute
|
| Brocanteur: |
546.636998 échantillons par minute
|
| Salle de cours: |
394.441850 échantillons par minute
|
| GPU Pi 3.2 1 milliard | 0.394 secondes |
| GPU Pi 3.3 1 milliard | 0.317 secondes |
Il convient de noter que des performances aussi impressionnantes ne se traduisent pas seulement par de la vitesse, mais ont également un impact sur l'application pratique de l'IA. Avec une capacité de recyclage et d'ajustement plus rapide, les entreprises peuvent améliorer considérablement leur agilité, ce qui leur permet de réagir rapidement aux changements du marché, aux besoins des clients et aux exigences internes. Par exemple, les équipes de conception peuvent évaluer et affiner les concepts en temps réel, ce qui réduit considérablement les délais de mise sur le marché, ou les équipes de conformité peuvent continuellement former et affiner les modèles mis à jour avec les dernières politiques et procédures pour un LLM de type assistant.
Transformer les opérations à l'aide de l'IA générative
Le Dell PowerEdge XE9680 peut faciliter l'IA générative en transformant plusieurs opérations de l'industrie. Imaginez un scénario de vente au détail où l'IA peut générer rapidement des images réalistes de diverses configurations de produits ou options de couleur en fonction des préférences des clients ou une entreprise de construction créant des visualisations de nouveaux bâtiments pour la planification et les présentations de vente. Les possibilités sont fascinantes.
Le Dell PowerEdge XE9680 offre un mélange fantastique de puissance, d'efficacité et de polyvalence. Il s'agit d'un serveur hautes performances capable de gérer facilement des charges de travail d'IA exigeantes. Et bien qu'il soit spécifiquement conçu pour répondre aux charges de travail d'IA, ses capacités lui donnent le potentiel d'être utile pour d'autres applications.
Grâce à l'engagement de Dell à accompagner les entreprises dans leurs projets d'IA via Project Helix , le PowerEdge XE9680 est une solution prometteuse et l'une des meilleures innovations matérielles de l'année. Alliant puissance brute, finesse et gestion du cycle de vie de niveau entreprise, le Dell PowerEdge XE9680 s'impose rapidement comme une référence parmi les serveurs d'entreprise.
Amazon