Nous attendons généralement la fin de l'article pour peindre le tableau d'ensemble et terminer l'examen. Cependant, le Dell PowerEdge XE9680 présente un matériel tellement excitant que nous étions impatients de partager notre enthousiasme avec cette critique positive. La conception de Dell est centrée sur les besoins de l'IA, fournissant une immense puissance de calcul dans un format 6U. Grâce au partenariat de Dell avec Intel et NVIDIA sur le XE9680, ils ont mis au point une offre non seulement puissante mais très efficace.
Nous attendons généralement la fin de l'article pour peindre le tableau d'ensemble et terminer l'examen. Cependant, le Dell PowerEdge XE9680 présente un matériel tellement excitant que nous étions impatients de partager notre enthousiasme avec cette critique positive. La conception de Dell est centrée sur les besoins de l'IA, fournissant une immense puissance de calcul dans un format 6U. Grâce au partenariat de Dell avec Intel et NVIDIA sur le XE9680, ils ont mis au point une offre non seulement puissante mais très efficace.
Dell PowerEdge XE9680
Ses spécifications sont tout simplement impressionnantes; deux processeurs Intel Xeon Scalable de 4e génération, 56 cœurs chacun, et 2 To de RAM DDR5 fournissent l'épine dorsale du processeur pour les accélérateurs AI. En ajoutant ensuite les huit GPU NVIDIA HGX H100 ou A100, connectés sur SXM et ensemble via NVLink, le serveur est équipé pour gérer le plus grand des modèles et des charges de travail de données.
La capacité du PowerEdge XE9680 pour les grands volumes de RAM (jusqu'à 4 To) offre un avantage concurrentiel significatif dans la gestion des charges de travail d'IA. Ces grandes empreintes mémoire permettent la formation de modèles plus complexes, conduisant à des performances plus élevées et des résultats plus précis.
Nos configurations incluent 8 baies SSD U.2 NVMe à l'avant. Mais tout comme nous l'avons vu avec le R660, Dell a également l'intention de proposer un fond de panier E3.S, avec 16 SSD E3.S. Le serveur prend également en charge la plate-forme de lecteur de démarrage NVMe BOSS-N1 à l'arrière du serveur.
C'est plus qu'une question de puissance
Le PowerEdge XE9680 n'est pas qu'une question de puissance ; il donne également la priorité à la sécurité et à la gérabilité. Avec des fonctionnalités telles que le micrologiciel signé par chiffrement, le chiffrement des données au repos et le démarrage sécurisé, le serveur garantit que vos données sont toujours protégées. Le système iDRAC9 intégré fournit une interface de gestion facile à utiliser, offrant une variété d'outils et d'intégrations qui rendent la gestion du serveur simple et sans tracas.
Nous avons mis ce système à l'épreuve lorsque nous avons voulu changer l'installation du système d'exploitation (plus à ce sujet plus tard) sur le serveur, et il était plus simple d'utiliser la fonction d'effacement cryptographique de l'iDRAC en quelques clics seulement pour démarrer avec un système propre travailler avec.
nvidia-smi sur le XE9680 avec les cartes H100
Auparavant, nous avons examiné le livre blanc de Dell sur le XE9680 et les performances du serveur Dell PowerEdge XE9680 lorsqu'elles sont évaluées par rapport aux références de latence de génération d'image définies par Lambda. Le serveur a fourni environ le double du débit, ce qui témoigne de la puissance et de l'efficacité du PowerEdge XE9680.
Les scores MLPerf sont largement connus et acceptés comme un bon classement des performances des systèmes de cette classe, donc pour profiter de notre temps pratique avec les serveurs XE9680 A100 et H100, nous avons décidé d'effectuer une comparaison directe des performances fines régler le LLaMa de Meta avec les deux systèmes. Pour ce faire, nous avons suivi les étapes de formation Alpaca de Stanford, qu'ils ont accomplies à l'aide de systèmes 4x A100.
Formation d'alpaga sur le XE9680
Nous tenons à remercier les équipes de NVIDIA et de Dell pour leur aide dans ce projet. Il s'agit d'une technologie de pointe d'un point de vue matériel et logiciel que sans les conseils d'experts de l'industrie des deux sociétés, cela aurait été un processus beaucoup plus long et intensif.
Sur le système A100, en utilisant le processus décrit sur le Stanford Alpaca Git Hub, nous avons pu reproduire les étapes pour créer les points de contrôle Alpaca en complétant les trois époques de formation, en moyenne environ 90 minutes.
En passant au système H100, nous avons constaté une amélioration avec des cycles effectués en environ 70 minutes par cycle. En raison de la forte demande et de la nature limitée de ces systèmes, nous n'avons pas eu l'occasion d'ajuster le code lui-même pour explorer d'éventuelles améliorations de performances, et il était clair qu'avec le raffinement et le temps consacré au développement, une équipe d'entreprise pourrait réaliser un virage rapide temps avec un réglage fin.
Officiellement non officiel
Sur le XE100 à saveur A9680, nous avons eu l'occasion de faire des tests hors des sentiers battus et très peu orthodoxes. Nous avons installé Windows Server 2022 sur le système ! Cela impliquait des effacements de lecteur iDRAC pour supprimer l'installation Linux, quelques astuces avec les fichiers iDRAC .iso et les supports virtuels pour charger les pilotes réseau Intel, et à partir de là, c'était parti pour les courses. Utilisation des lecteurs de chipset d'un système Dell PowerEdge comparable, puis des pilotes NVIDIA A100 officiels.
Le système fonctionne et est stable sans aucun problème. Cependant, il s'agit d'un cas d'utilisation très inhabituel que Dell ne prend pas officiellement en charge. Donc, armés de notre nouvelle installation Windows et de huit des meilleurs GPU du marché, nous avons fait ce que nous faisons de mieux, référence Pi !
Les huit cartes NVIDIA A100 ont facilement battu les records du monde GPU-Pi sans aucun réglage, et les processeurs Xeon Platinum ont généré de grands chiffres à la fois sur y-cruncher et Cinebench. Nous avons essayé quelques-uns de nos autres benchmarks CPU/GPU standard avec peu d'espoir qu'ils fonctionnent, et comme prévu, nous avons rencontré des problèmes de logiciel/encodeur qui ont empêché des exécutions réussies. Procyon, par exemple, n'a même pas compris qu'il disposait de GPU Tensor pour effectuer le test.
Encore une fois, nous devons répéter qu'il s'agissait simplement d'un test d'une configuration non prise en charge, et le fait que tout fonctionne est impressionnant et témoigne de la capacité de Dell à produire du matériel cohérent sur toutes les plates-formes. L'utilisation de Windows Server sur ce type de système dans n'importe quel environnement de production serait imprudente.
| Teste | Résultat |
| Cinebench Multi | 90,710 |
| Cinebench simple | 174 |
| Ration MP CB | 77.24 |
| Carte graphique Geekbench 6 | 197,669 |
| Geekbench 6 Unique | 1,678 |
| Geekbench6 Multi | 16,425 |
| Monstre: |
855.080461 échantillons par minute
|
| Brocanteur: |
546.636998 échantillons par minute
|
| Salle de cours: |
394.441850 échantillons par minute
|
| GPU Pi 3.2 1 milliard | 0.394 secondes |
| GPU Pi 3.3 1 milliard | 0.317 secondes |
Il convient de noter que des performances aussi impressionnantes ne se traduisent pas seulement par de la vitesse, mais ont également un impact sur l'application pratique de l'IA. Avec une capacité de recyclage et d'ajustement plus rapide, les entreprises peuvent améliorer considérablement leur agilité, ce qui leur permet de réagir rapidement aux changements du marché, aux besoins des clients et aux exigences internes. Par exemple, les équipes de conception peuvent évaluer et affiner les concepts en temps réel, ce qui réduit considérablement les délais de mise sur le marché, ou les équipes de conformité peuvent continuellement former et affiner les modèles mis à jour avec les dernières politiques et procédures pour un LLM de type assistant.
Transformer les opérations à l'aide de l'IA générative
Le Dell PowerEdge XE9680 peut faciliter l'IA générative en transformant plusieurs opérations de l'industrie. Imaginez un scénario de vente au détail où l'IA peut générer rapidement des images réalistes de diverses configurations de produits ou options de couleur en fonction des préférences des clients ou une entreprise de construction créant des visualisations de nouveaux bâtiments pour la planification et les présentations de vente. Les possibilités sont fascinantes.
Le Dell PowerEdge XE9680 offre un mélange fantastique de puissance, d'efficacité et de polyvalence. Il s'agit d'un serveur hautes performances capable de gérer facilement des charges de travail d'IA exigeantes. Et bien qu'il soit spécifiquement conçu pour répondre aux charges de travail d'IA, ses capacités lui donnent le potentiel d'être utile pour d'autres applications.
Associé à l'engagement de Dell à aider les organisations à exécuter leurs projets d'IA via Projet Hélix, le PowerEdge XE9680 est une proposition passionnante et l'une des meilleures innovations matérielles que nous ayons vues toute l'année. Avec sa capacité à fournir une puissance brute, une finesse raffinée et une gestion du cycle de vie de niveau entreprise, il n'est pas étonnant que le Dell PowerEdge XE9680 devienne rapidement un favori parmi les serveurs d'entreprise.
S'engager avec StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Flux RSS
