Le Supermicro AS-4125GS-TNRT est un serveur GPU 4U refroidi par air prenant en charge deux processeurs AMD EPYC série 9004, PCIe Gen5 et 8 GPU double largeur.
Supermicro propose depuis longtemps des serveurs GPU dans plus de formes et de tailles que nous n'avons le temps d'aborder dans cette revue. Aujourd'hui, nous examinons leur relativement nouveau serveur GPU 4U refroidi par air qui prend en charge deux processeurs AMD EPYC série 9004, PCIe Gen5 et un choix de huit cartes GPU supplémentaires double largeur ou 12 cartes GPU simples largeur. Bien que Supermicro propose également des variantes de ces serveurs basées sur Intel, la famille AS-4125GS-TNRT basée sur AMD est la seule de cette classe à prendre en charge les GPU NVIDIA H100 et AMD Instinct Mi210.
Le serveur GPU Supermicro AS-4125GS-TNRT possède quelques autres points forts matériels tels que la mise en réseau 10GbE intégrée, la gestion hors bande, 9 emplacements FHFL PCIe Gen5, 24 baies 2.5″, dont quatre NVMe, et le reste SATA/SAS. Il existe également 4 alimentations redondantes de 2000 2 W au niveau du titane. Sur la carte mère, il y a un seul emplacement M.XNUMX NVMe pour le démarrage.
Avant d'aller trop loin dans cette voie, il convient également de mentionner que Supermicro propose deux autres variantes de la configuration du serveur AS-4125GS-TNRT. Bien qu'ils utilisent la même carte mère, l'AS-4125GS-TNRT1 est une configuration à socket unique avec un commutateur PCIe prenant en charge jusqu'à 10 GPU double largeur et 8 baies SSD NVMe. L'AS-4125GS-TNRT2 est une configuration biprocesseur qui revient plus ou moins à la même chose, toujours avec le switch PCIe.
Quelle que soit la configuration, le Supermicro AS-4125GS-TNRT est incroyablement flexible grâce à sa conception et sa capacité à sélectionner des modèles avec le commutateur PCIe. Ce style de serveur GPU est populaire car il permet aux organisations de démarrer petit et de développer, de mélanger et d'associer des GPU pour différents besoins, ou de faire tout ce qu'elles veulent. Les systèmes GPU à socket offrent la possibilité de mieux regrouper les GPU pour les grosses charges de travail d'IA, mais les systèmes de cartes d'extension sont imbattables en termes de flexibilité des charges de travail.
Supermicro AS-4125GS-TNRT avec GPU AMD et NVIDIA de SC23
De plus, même si cela peut paraître un blasphème pour certains, les serveurs GPU de carte d'extension Supermicro peuvent même être utilisés avec des cartes AMD et NVIDIA dans le même boîtier ! Halètement, si vous voulez, mais de nombreux clients ont compris que certaines charges de travail préfèrent un Instinct, tandis que d'autres comme le GPU NVIDIA. Enfin, bien que moins populaires que les serveurs GPU remplis à craquer, il convient de mentionner que ces emplacements ne sont que des emplacements PCIe ; il n'est pas déraisonnable d'imaginer des scénarios dans lesquels les clients pourraient préférer les FPGA, les DPU ou toute autre forme d'accélérateur dans cette plate-forme. Encore une fois, la flexibilité est le principal avantage de cette conception.
Aux fins de notre examen, le Supermicro AS-4125GS-TNRT était livré en version barebone, prêt à ajouter du CPU, de la DRAM, du stockage et, bien sûr, des GPU. Nous avons travaillé avec Supermicro pour emprunter 4 GPU NVIDIA H100 pour cet examen.
Spécifications Supermicro AS-4125GS-TNRT
| Spécifications | |
| Processeur | Processeurs Dual Socket SP5 jusqu'à 128C/256T chacun |
| Mémoire | Jusqu'à 24 RDIMM/LRDIMM ECC DDR256 de 4800 Go à 5 XNUMX MHz (Mémoire totale de 6 To) |
| GPU |
|
| Slots d'extension | 9x emplacements PCIE 5.0 x16 FHFL |
| Alimentations | 4 alimentations redondantes de 2000 XNUMX W |
| Réseautage | 2 x 10 GbE |
| Stockage |
|
| Carte mère | Super H13DSG-O-CPU |
| Gestion |
|
| Sécurité |
|
| chassis Taille | 4U |
Supermicro AS-4125GS-TNRT Examen de la configuration
Nous avons configuré notre système à partir de Supermicro comme barebones, bien qu'ils le vendent en grande partie comme un système configuré. Une fois arrivé au laboratoire, la première chose que nous avons faite a été de l'équiper d'une paire de processeurs AMD EPYC 9374F 32c 64t. Ceux-ci ont été sélectionnés pour leur vitesse d’horloge élevée et leurs performances multicœurs respectables.
Pour les accélérateurs, nous avions toute une gamme de choix, allant des anciens coprocesseurs Intel Phi aux dernières cartes PCIe H100 en passant par les GPU de station de travail RTX 6000 ada haut de gamme. Notre objectif était d’équilibrer la puissance de calcul brute avec l’efficacité et la polyvalence. Finalement, nous avons décidé de commencer avec quatre GPU NVIDIA RTX A6000, puis de passer à quatre cartes NVIDIA H100 PCIe pour nos premiers tests. Cette combinaison démontre la flexibilité de la plateforme Supermicro et des cartes accélératrices NVIDIA.
Le RTX A6000, principalement conçu pour les performances dans les charges de travail gourmandes en graphiques, excelle également dans les applications IA et HPC grâce à son architecture Ampere. Il offre 48 Go de mémoire GDDR6, ce qui le rend idéal pour gérer de grands ensembles de données et des simulations complexes. Ses 10,752 336 cœurs CUDA et XNUMX Tensor permettent un calcul accéléré, ce qui est crucial pour nos tests d'IA et d'apprentissage profond.
D'autre part, les cartes NVIDIA H100 PCIe sont les dernières cartes livrées de la gamme d'architecture Hopper, conçues principalement pour les charges de travail d'IA. Chaque carte comprend un nombre impressionnant de 80 milliards de transistors, 80 Go de mémoire HBM3 et le révolutionnaire Transformer Engine, conçu pour les modèles d'IA comme le GPT-4. Les cœurs Tensor de 100e génération et les instructions DPX du H4 améliorent considérablement les tâches d'inférence et de formation de l'IA.
En intégrant ces GPU dans notre système barebones Supermicro, nous nous sommes concentrés sur une gestion thermique et une distribution d'énergie optimales, compte tenu de la consommation d'énergie et de la génération de chaleur substantielles de ces composants haut de gamme. Le châssis Supermicro, bien que ne prenant pas officiellement en charge une telle configuration, s'est avéré suffisamment polyvalent pour s'adapter à notre configuration. Pour contrôler les performances thermiques des A6000, nous avons dû les espacer d'une largeur de carte en raison de la conception du ventilateur à cage d'écureuil, mais les H100 peuvent être emballés avec leurs ailettes de refroidissement passives passthrough.
Notre suite d'analyse comparative comprenait un mélange de cas d'utilisation spécifiques au HPC et à l'IA. Celles-ci allaient des charges de travail d'analyse comparative traditionnelles aux tâches de formation et d'inférence d'IA utilisant des modèles de réseaux neuronaux convolutifs. Notre objectif était de pousser ces accélérateurs dans leurs limites, en évaluant leurs performances brutes, leur efficacité, leur évolutivité et leur facilité d'intégration avec notre serveur Supermicro A+.
Tests GPU Supermicro AS-4125GS-TNRT
Alors que nous parcourons les GPU phares de NVIDIA tout en travaillant sur un modèle de base CNN en laboratoire, nous avons commencé par une formation au niveau du poste de travail sur une paire de GPU plus anciens mais très performants. RTX8000 GPU.
Lors de notre analyse des performances de l'IA, nous avons observé une progression remarquable mais attendue des capacités, passant du NVIDIA RTX 8000 à quatre GPU RTX A6000 et enfin à quatre cartes NVIDIA H100 PCIe. Cette progression a mis en valeur la puissance brute de ces accélérateurs et l'évolution des accélérateurs NVIDIA au cours des dernières années, alors que l'accent est de plus en plus mis sur les charges de travail d'IA.
À partir du RTX 8000, nous avons constaté des performances correctes. Avec cette configuration, la formation de notre modèle d'IA sur un ensemble de données d'images de 6.36 Go a pris environ 45 minutes par époque. Cependant, les limites du RTX 8000 étaient évidentes en termes de taille de lot et de complexité des tâches qu'il pouvait gérer. Nous étions limités à des lots plus petits et limités dans la complexité des modèles de réseaux neuronaux que nous pouvions entraîner efficacement.
Le passage à quatre GPU RTX A6000 a marqué un bond significatif en termes de performances. La bande passante mémoire supérieure de l'A6000 et la mémoire GDDR6 plus grande nous ont permis de quadrupler la taille du lot tout en conservant la même durée d'époque et la même complexité de modèle. Cette amélioration a amélioré le processus de formation et nous a permis d'expérimenter des modèles plus sophistiqués sans prolonger le temps de formation.
Cependant, l'avancée la plus frappante est venue avec l'introduction de quatre cartes NVIDIA H100 PCIe. Tirant parti des capacités d'IA améliorées de l'architecture Hopper, ces cartes nous ont permis de doubler à nouveau la taille du lot. Plus impressionnant encore, nous pourrions augmenter considérablement la complexité de nos modèles d’IA sans aucun changement notable dans la durée des époques. Cette capacité témoigne des fonctionnalités avancées spécifiques à l'IA du H100, telles que le Transformer Engine et les Tensor Cores de 4e génération, qui sont optimisés pour gérer efficacement les opérations d'IA complexes.
Tout au long de ces tests, l'ensemble de données d'image de 6.36 Go et les paramètres du modèle ont servi de référence cohérente, nous permettant de comparer directement les performances de différentes configurations GPU. La progression du RTX 8000 vers les A6000, puis vers les H100, a mis en évidence les améliorations de la puissance de traitement brute et la capacité des GPU à gérer des charges de travail d'IA plus importantes et plus complexes sans compromettre la vitesse ou l'efficacité. Cela rend ces GPU particulièrement adaptés à la recherche de pointe sur l’IA et aux applications d’apprentissage profond à grande échelle.
Le serveur Supermicro utilisé lors de nos tests dispose d'une connexion PCIe directe aux processeurs, évitant ainsi le besoin d'un commutateur PCIe. Cette connexion directe garantit que chaque GPU dispose d'un chemin dédié vers le CPU, facilitant un transfert de données rapide et efficace. Cette architecture est cruciale dans certaines charges de travail en IA et HPC pour minimiser la latence et maximiser l'utilisation de la bande passante, particulièrement utile lorsqu'il s'agit de tâches à haut débit telles que la formation de modèles d'IA ou d'environnements VDI complexes lorsque tout le travail est local sur le serveur.
Conclusion
L'évolutivité et la flexibilité du serveur Supermicro GPU A+ Server AS-4125GS-TNRT sont les fonctionnalités phares ici. Il est particulièrement avantageux pour les clients qui doivent s'adapter à l'évolution des demandes de charge de travail, que ce soit en matière d'IA, de VDI ou d'autres tâches hautes performances. En commençant par une configuration modeste, les utilisateurs peuvent gérer efficacement les tâches d'IA ou de VDI d'entrée de gamme, offrant ainsi une solution rentable pour les charges de travail plus petites ou pour ceux qui commencent tout juste à s'aventurer dans l'IA et l'infrastructure de bureau virtuel. Cette configuration initiale fournit une base solide et évolutive, permettant aux utilisateurs d'interagir avec des applications d'IA et VDI basiques mais essentielles.
De plus, même si nous savons que de nombreuses entreprises souhaitent profiter des GPU H100 sur socket, les temps d'attente pour ces plates-formes sont excessifs. De nombreuses sources nous ont dit que l'attente était de près d'un an. La logistique de la chaîne d’approvisionnement souligne l’avantage de ce serveur : il peut tout gérer. Les GPU L40S sont disponibles « maintenant » afin que les clients puissent au moins faire avancer leurs charges de travail d'IA le plus tôt possible avec cette combinaison. Et à mesure que les besoins évoluent, les clients peuvent facilement échanger leurs cartes. Cela garantit que le serveur Supermicro GPU A+ Server AS-4125GS-TNRT n'est pas seulement destiné aux besoins immédiats, mais qu'il est évolutif, répondant à l'évolution du paysage technologique.
Page produit du serveur GPU Supermicro 4U
S'engager avec StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Flux RSS
