Le serveur HPE ProLiant Compute DL380a Gen12 s'adresse aux équipes d'IA d'entreprise qui recherchent une forte densité de calcul sans modifier la configuration de leurs racks. Ce châssis 4U à refroidissement par air s'intègre facilement, prend en charge jusqu'à huit GPU double largeur et offre une connectivité PCIe Gen5 complète. Il peut être configuré avec deux processeurs Intel Xeon 6, chacun doté de 144 cœurs, 4 To de mémoire DDR5 répartis sur 32 modules DIMM et seize baies NVMe E3.S pour un débit et une capacité élevés. L'objectif est simple : atteindre une capacité d'inférence de niveau production et un réglage fin précis à grande échelle sans recourir à un refroidissement liquide.
Pour les accélérateurs, HPE propose une gamme complète incluant les cartes NVIDIA H200 NVL, H100 NVL, L40S, L20, L4 et la RTX PRO 6000 Blackwell Server Edition, avec des options d'alimentation compatibles avec les composants à forte consommation. Dans ce test, nous nous concentrons sur la RTX PRO 6000 Server, qui offre un excellent compromis pour l'IA d'entreprise. Chaque carte embarque 96 Go de mémoire ECC GDDR7, une interface PCIe Gen5 x16, des cœurs Tensor compatibles FP4 et une enveloppe thermique de 600 W, adaptée aux racks refroidis par air. Notre configuration était équipée de quatre cartes, un point de départ judicieux pour l'inférence à haut débit et l'optimisation ciblée, avec une marge de progression.
HPE complète la plateforme avec les éléments opérationnels essentiels. iLO 7 gère la configuration hors bande, l'état du système et la gestion de l'alimentation, grâce à la Silicon Root of Trust (une enclave sécurisée garantissant l'intégrité du firmware), la prise en charge du chiffrement RSA 4096 bits et un module iLO DC-MHS détachable qui renforce la vérification de la chaîne d'approvisionnement. Le serveur s'intègre également à la plateforme HPE Private Cloud AI pour une gouvernance multi-équipes et des déploiements reproductibles à grande échelle.
| Catégorie | Spécifications |
|---|---|
| Type de processeur | HPE ProLiant Compute DL380a Gen12 |
| Famille de processeur | Processeurs Intel® Xeon® Scalable de 6e génération |
| Cœurs de processeur disponibles | De 64 à 144 cœurs, selon le processeur |
| Nombre de processeurs | 2 |
| La vitesse du processeur | Jusqu'à 2.4 GHz, selon le processeur |
| La mémoire maximale | RDIMM 4 To (2 To par processeur) |
| Logements pour la mémoire | 32 emplacements DIMM |
| Type de mémoire | Mémoire intelligente HPE DDR5 |
| Protection de la mémoire | RAS : ECC avancé, mémoire de secours en ligne, mise en miroir, fonctionnalité de canal combiné (verrouillage), mémoire tolérante aux pannes HPE Fast (ADDDC) |
| Assistance routière | SFF NVMe et EDSFF |
| Sécurité | Cadre de verrouillage en option, détection d'intrusion et module HPE TPM 2.0 intégré |
| Gestion de l'infrastructure | HPE iLO Standard avec provisionnement intelligent (intégré), HPE OneView Standard (nécessite un téléchargement) • En option : HPE iLO Advanced et HPE OneView Advanced (licences requises) |
| Source d'alimentation | Jusqu'à 8 M-CRPS. Redondance simple 1+1 pour la carte mère. Redondance double 2+1 pour les GPU. |
| Connecteurs d'extension | 6 |
| Ventilateurs du système | 4 ventilateurs à double rotor et 8 ventilateurs à simple rotor remplaçables à chaud inclus |
| Facteur de forme | rack 4U |
| Garanties | 3/3/3 : Garantie du serveur |
Le serveur rack HPE ProLiant Compute DL380a Gen12 est un serveur 4U à deux sockets conçu pour les déploiements évolutifs et hautes performances. Mesurant 6.88 x 17.63 x 31.60 cm, il combine une puissance de calcul CPU et GPU dense avec un refroidissement par air efficace pour un fonctionnement fiable même sous fortes charges de travail.
Pesant entre 82.7 et 137.8 kg selon la configuration, le châssis prend en charge les composants haute capacité, l'alimentation redondante et offre un accès frontal aisé pour la maintenance. Sa conception privilégie la performance, l'évolutivité et une gestion thermique performante, ce qui le rend idéal pour les environnements d'entreprise et de centres de données.
L'unité peut être transportée grâce à ses deux poignées latérales, ce qui implique qu'au moins deux personnes sont nécessaires pour la mise en rack et l'installation en toute sécurité. Elle utilise un kit de rails 2U avec rails télescopiques, permettant une installation aisée et une maintenance facilitée sans démontage complet du rack.
La connectivité comprend un port réseau iLO dédié, plusieurs ports USB 3.2 Gen 1 et un port VGA pour la gestion locale. Il est important de noter que l'emplacement 1 est disponible uniquement lorsque le câble HPE DL380a Gen12 4EDSFF Direct Cable for NVD (P74716-B21) est installé et ne peut pas être utilisé avec des disques NVMe SFF. Quant à l'emplacement 4, il n'est pas pris en charge dans les configurations comportant 4 ou 8 GPU DW.
L'alimentation du serveur HPE ProLiant DL380a Gen12 est assurée par des kits d'alimentation modulaires M-CRPS Titanium remplaçables à chaud. Les modèles compatibles incluent les versions 1 500 W (P67244-B21), 2 400 W (P67252-B21) et 3 200 W (P67248-B21). Le système prend en charge jusqu'à huit alimentations, offrant une redondance N+1 pour garantir un fonctionnement continu même en cas de défaillance d'un module d'alimentation. Les besoins en énergie et leur distribution peuvent varier en fonction de la configuration des GPU. Notre modèle de test était équipé de cinq alimentations M-CRPS de 2 400 W, fournissant une capacité suffisante pour alimenter les quatre GPU du système (TDP de 600 W) tout en assurant une redondance fiable.
Lors de l'examen de la configuration GPU, notre unité était précâblée pour quatre GPU PCIe 5.0, chacun installé proprement dans la cage GPU avant. Le système était configuré avec des GPU NVIDIA RTX PRO 6000 (Blackwell Server Edition, 96 Go), appartenant à la nouvelle gamme professionnelle de NVIDIA optimisée pour l'IA, le rendu et les charges de travail de calcul. Selon la configuration, le DL380a Gen12 peut prendre en charge 4 ou 8 GPU double largeur ou jusqu'à 16 accélérateurs simple largeur, offrant une grande flexibilité pour un large éventail de déploiements en entreprise et en IA.
Les GPU compatibles avec cette plateforme sont les suivants :
Cette configuration GPU flexible, associée à des lignes PCIe Gen5 à large bande passante, garantit que le DL380a Gen12 est prêt pour les tâches d'inférence denses et les environnements d'entraînement d'IA à grande échelle. À l'intérieur du châssis, une fois le carénage de refroidissement installé, on constate l'ingéniosité d'HPE en matière de gestion du flux d'air. Ce carénage est doté de déflecteurs moulés avec précision qui dirigent efficacement l'air vers les processeurs, les modules de mémoire et les VRM, assurant ainsi un refroidissement homogène du système.
Comme indiqué, le système comprend un port iLO dédié offrant des fonctionnalités de gestion hors bande pour un contrôle et une surveillance complets du serveur. Ce boîtier est livré avec la nouvelle interface HPE iLO 7, offrant aux administrateurs une interface modernisée et des fonctionnalités améliorées, intégrées à HPE Compute Ops Management pour une configuration, une surveillance et une gestion du cycle de vie simplifiées. Vous trouverez ci-dessous la nouvelle page de connexion HPE iLO 7 de notre système de démonstration.
Dès le tableau de bord, on constate que HPE iLO 7 propose une interface modernisée qui met immédiatement en évidence l'état du système et les principaux indicateurs de santé. Le panneau principal offre une vue d'ensemble de l'état d'alimentation, de l'état de santé et de la connexion de l'hôte avec HPE Compute Ops Management. À droite, les informations système générales telles que l'adresse IP iLO, le nom d'hôte et le type de licence sont affichées pour une consultation rapide.
Le tableau de bord regroupe les indicateurs clés (redondance des ventilateurs, état de l'alimentation et températures) dans une interface claire et colorée, permettant d'évaluer rapidement l'état du serveur. L'accès aux médias virtuels et à la console distante est également direct depuis la page principale, simplifiant ainsi les tâches courantes d'administration à distance sans navigation supplémentaire.
Dans l'onglet Firmware, HPE iLO 7 offre une vue claire et organisée de tous les composants et des tâches de gestion des mises à jour. L'interface présente l'inventaire des firmwares, les files d'attente d'installation actives et les résultats de vérification sous forme de cartes, facilitant ainsi la navigation. Les administrateurs peuvent rapidement lancer des mises à jour, charger des packages dans le référentiel iLO ou créer des ensembles d'installation pour un déploiement par lots.
La vérification du firmware et la gestion du référentiel sont intégrées à cette interface, permettant aux utilisateurs de garantir l'intégrité et la cohérence des versions entre les composants. Le menu Actions rapides, situé à droite, simplifie les tâches essentielles, telles que la mise à jour du firmware ou le chargement de nouveaux fichiers. La section Paramètres du firmware permet de contrôler les politiques de rétrogradation et l'acceptation des packages tiers.
Dans la section Hôte, HPE iLO 7 offre un accès rapide aux fonctions essentielles de gestion du serveur, notamment le contrôle de l'alimentation, les supports virtuels, l'état du matériel et les performances du système. Les administrateurs peuvent consulter en temps réel l'état de la redondance matérielle, accéder au journal de gestion intégré ou lancer la console distante directement depuis cette interface. L'interface propose également des actions rapides telles que l'arrêt propre, le redémarrage et la réinitialisation, permettant un contrôle total du système à distance sans intervention physique.
Le panneau de droite affiche les paramètres de l'hôte, notamment l'état du TPM, la configuration de la stratégie de la plateforme et les informations sur les modules matériels. Cette section met en évidence le rôle d'iLO 7 en tant que plateforme de contrôle centralisée, permettant aux administrateurs de gérer l'alimentation, de surveiller les événements et de superviser l'exploitation en toute sécurité depuis une interface unique.
Dans l'onglet Sécurité, HPE iLO 7 centralise tous les contrôles essentiels relatifs à la protection du système et à la gestion des accès. Le panneau de présentation offre une vue d'ensemble de l'état de sécurité, mettant en évidence les niveaux de risque, les verrous de configuration et l'état des certificats. Les administrateurs peuvent ainsi gérer les paramètres de chiffrement, les méthodes d'authentification et les certificats TLS, ainsi que configurer l'effacement sécurisé et la gestion à distance des clés.
L'interface signale clairement les points critiques, tels que les certificats auto-signés ou une gestion des clés non configurée, tout en garantissant un fonctionnement sécurisé le cas échéant. Les journaux de sécurité, les politiques de gestion des utilisateurs et les contrôles d'accès sont facilement accessibles, offrant ainsi aux administrateurs une vue d'ensemble complète de la sécurité du système directement depuis l'environnement iLO.
Sous l'onglet Applications HPE, iLO 7 donne accès à des outils intégrés qui optimisent le déploiement et la gestion du cycle de vie des serveurs. À partir de cette interface, les administrateurs peuvent lancer Intelligent Provisioning, un utilitaire intégré conçu pour simplifier l'installation du système d'exploitation, les mises à jour du firmware et la configuration du système sans nécessiter de support externe.
L'onglet Paramètres iLO regroupe toutes les options de configuration et d'administration de l'interface iLO. Les administrateurs peuvent y contrôler l'accès des utilisateurs, la configuration des ports réseau, les méthodes d'authentification et les journaux d'activité. Le menu propose également des options de dépannage, d'application des politiques de sécurité, de gestion des licences et de synchronisation de l'heure.
Les actions rapides, telles que la sauvegarde ou la restauration de la configuration iLO et la réinitialisation, sont facilement accessibles à droite, ce qui simplifie les tâches de maintenance. L'interface, à l'image du reste de l'interface moderne par cartes d'iLO 7, offre une gestion claire et organisée de la sécurité, de la connectivité et des paramètres opérationnels depuis un emplacement centralisé.
Pour évaluer les capacités réelles du DL380a Gen12, nous avons mené une série complète de tests de performance couvrant à la fois l'inférence IA et les charges de travail de calcul générales. Ces tests incluent des benchmarks de service en ligne vLLM pour les grands modèles de langage (LLM) et des benchmarks de la suite de tests Phoronix afin de mesurer le débit du processeur, la bande passante mémoire, l'efficacité du service web et les performances cryptographiques.
Configuration du système
vLLM est le moteur d'inférence et de diffusion à haut débit le plus populaire pour les LLM. Le benchmark de diffusion en ligne vLLM est un outil d'évaluation des performances qui mesure les capacités de diffusion réelles de ce moteur d'inférence sous des requêtes simultanées. Il simule les charges de travail de production en envoyant des requêtes à un serveur vLLM en cours d'exécution avec des paramètres configurables, tels que le débit de requêtes, la longueur des entrées/sorties et le nombre de clients simultanés. Le benchmark mesure des indicateurs clés, notamment le débit (tok/s), le temps d'obtention du premier jeton et le temps d'exécution par jeton de sortie, permettant ainsi aux utilisateurs de comprendre les performances de vLLM sous différentes conditions de charge.
Nous avons testé les performances d'inférence sur trois modèles représentatifs couvrant différentes échelles et approches de quantification, en évaluant comment les quatre GPU NVIDIA RTX PRO 6000 du HPE ProLiant DL380a Gen12 gèrent les charges de travail d'inférence de production.
Les modèles denses représentent l'architecture LLM conventionnelle, où tous les paramètres et activations sont utilisés lors de l'inférence. Nous avons évalué deux configurations de modèles denses : Llama-2-70b-chat-hf et Llama-3.2-90B-Vision-Instruct.
Performances de Llama-2-70B-Chat
En configuration mono-utilisateur (BS=1) avec TP=4, le modèle atteint 32.89 tok/s par utilisateur et un TPOT de 30.18 ms. Avec BS=8, les performances atteignent 15.68 tok/s par utilisateur, pour un débit total de 433.62 tok/s et un TPOT de 35.98 ms. En passant à BS=32, le débit total atteint 741.62 tok/s tout en maintenant 8.00 tok/s par utilisateur et un TPOT de 43.44 ms.
Performance d'instruction de vision du lama 3.2-90B
Avec une station de base (BS) de 1 et un débit total (TP) de 4, le modèle atteint un débit de 20.59 tok/s par utilisateur et un TPOT de 38.27 ms. Avec une BS de 16, les performances passent à 7.20 tok/s par utilisateur, pour un débit total de 806.14 tok/s et un TPOT de 54.98 ms. Le débit total maximal de 1 372,21 tok/s est atteint avec une BS de 128, soit 2.59 tok/s par utilisateur et un TPOT de 122.75 ms.
La micro-échelle représente une approche de quantification avancée qui applique des facteurs d'échelle précis à de petits blocs de poids, plutôt qu'une quantification uniforme à de grands groupes de paramètres. Le format NVFP4 de NVIDIA implémente cette technique grâce à une représentation en virgule flottante par blocs, où chaque bloc de micro-échelle de 8 à 32 valeurs partage un exposant commun servant de facteur d'échelle. Cette approche granulaire préserve la précision numérique tout en assurant une représentation sur 4 bits, maintenant ainsi la plage dynamique essentielle aux architectures de transformateurs. Ce format s'intègre à l'architecture Tensor Core de NVIDIA sur la RTX PRO 6000, permettant un calcul efficace en précision mixte avec décompression à la volée lors des opérations matricielles.
Performances du GPT-OSS-120B
Nous avons évalué le modèle GPT-OSS-120B d'OpenAI avec la quantification NVFP4. En mode mono-utilisateur (TP=2), le modèle atteint 176.09 tok/s par utilisateur avec un TPOT de 5.46 ms, soit la latence la plus faible de notre suite de tests. Avec BS=4 et TP=4, les performances atteignent 105.79 tok/s par utilisateur, pour un débit total de 1155.94 tok/s et un TPOT de 7.79 ms. Avec BS=32 et TP=4, le débit passe à 47.54 tok/s par utilisateur et 3956.44 tok/s au total, avec un TPOT de 13.86 ms. Le débit total maximal de 4015.77 tok/s est atteint avec BS=64, soit 25.38 tok/s par utilisateur et un TPOT de 14.78 ms.
Phoronix Test Suite est une plateforme d'analyse comparative automatisée et open source prenant en charge plus de 450 profils de test et plus de 100 suites de tests via OpenBenchmarking.org. Elle gère l'ensemble du processus, de l'installation des dépendances à l'exécution des tests et à la collecte des résultats, ce qui la rend idéale pour les comparaisons de performances, la validation matérielle et l'intégration continue. Nous nous concentrerons sur les tests suivants : Stream, 7-Zip, compilation du noyau Linux, Apache et OpenSSL.
Bande passante de la mémoire de flux
Dans le benchmark Stream, qui mesure le débit mémoire brut, le HPE DL380a Gen12 a atteint un impressionnant score de 542 Go/s, démontrant ainsi la capacité de la plateforme à maintenir des débits de transfert de données élevés sous charge continue. Ce niveau de bande passante rend le système particulièrement performant pour des charges de travail telles que la modélisation de données, la simulation et l'inférence IA, où de grands ensembles de données doivent être transférés rapidement entre la mémoire et les ressources de calcul.
Compression à 7 zips
Le test de compression 7-Zip a mesuré 305 000 MIP, soulignant l'excellente efficacité multithread du système pour les opérations de compression et de décompression exigeantes en calcul. Ces résultats font du DL380a Gen12 un choix idéal pour les environnements impliquant des opérations fréquentes de packaging de données, d'archivage ou de sauvegarde, qui nécessitent des performances CPU constantes et reproductibles.
Compilation du noyau
Lors de la compilation d'un noyau Linux complet (allmodconfig), le DL380a Gen12 a réalisé l'opération en 316 secondes. Ce résultat témoigne de la capacité du système à gérer aisément des charges de travail parallélisées et complexes. Des performances de compilation accrues se traduisent directement par des temps de compilation plus courts et une vitesse d'itération améliorée pour les développeurs travaillant sur des projets logiciels à grande échelle ou dans des environnements CI/CD.
Serveur Web Apache
En matière de performances de serveur web, le DL380a Gen12 a maintenu 94 348 requêtes par seconde lors du test de performance Apache. Ce résultat témoigne d'une gestion équilibrée des E/S et d'une grande efficacité du cache, offrant le débit et la réactivité nécessaires aux applications web d'entreprise, aux interfaces de virtualisation ou à l'hébergement de services internes.
Vérification OpenSSL
Les performances cryptographiques étaient tout aussi remarquables, le DL380a Gen12 vérifiant 803 milliards d'opérations par seconde sous OpenSSL. Ceci démontre la capacité du système à gérer à grande échelle les charges de travail liées au chiffrement, à l'authentification et aux communications sécurisées.
| Points de repère Phoronix | HPE ProLiant DL380a Gen 12 (2x Intel Xeon 6527P) |
| Discussions | 542,720.7 MB / s |
| 7-ZIP | 304,907 XNUMX MIP/s |
| Compilation du noyau (allmod) | 316.166 secondes |
| Apache (requêtes par seconde) | 94,347.52 XNUMX R/s |
| OpenSSL | 803,597,895,087 XNUMX XNUMX XNUMX XNUMX Vérifications |
Le serveur HPE ProLiant DL380a Gen12 se distingue comme l'un des serveurs d'IA les plus pratiques et équilibrés pour le marché de l'IA en entreprise. Son format 4U à refroidissement par air offre une densité de calcul exceptionnelle grâce à ses deux processeurs Xeon 6, la prise en charge de jusqu'à 8 GPU double largeur ou 16 GPU simple largeur, et 16 baies NVMe E3.S, tout en garantissant fiabilité et facilité de maintenance. L'approche d'ingénierie d'HPE en matière de flux d'air et d'équilibre thermique assure des performances constantes même sous fortes charges de travail, démontrant ainsi que l'accélération IA avancée peut parfaitement fonctionner dans des environnements à refroidissement par air traditionnels.
L'intégration d'iLO 7 améliore considérablement la gestion, un atout majeur pour les fournisseurs de serveurs de premier plan comme HPE. L'interface modernisée, l'intégration avec HPE Compute Ops Management et la télémétrie matérielle détaillée rendent l'administration à distance intuitive et efficace. Chaque section (Tableau de bord, Firmware, Hôte, Sécurité, Applications et Paramètres) témoigne de la volonté de HPE d'offrir une expérience plus fluide et mieux intégrée au cloud, sans pour autant sacrifier le contrôle sur site indispensable aux équipes en entreprise.
Lors des tests de performance, le serveur a obtenu d'excellents résultats. Les quatre GPU RTX PRO 6000 ont atteint un débit impressionnant sur les modèles LLM denses et micro-échelles, avec des performances de service vLLM rivalisant avec celles des systèmes à refroidissement liquide. Les benchmarks CPU de Phoronix soulignent également son équilibre, avec une bande passante mémoire de plus de 540 Go/s, 94 000 requêtes par seconde sous Apache et plus de 800 milliards de vérifications OpenSSL par seconde, démontrant ainsi sa robustesse aussi bien pour l'IA que pour le calcul général.
L'objectif de conception de HPE est clair : fournir des performances d'IA haute densité, prêtes pour la production, grâce à un refroidissement par air compatible avec les infrastructures rack et d'alimentation existantes. Pour les équipes de centres de données à la recherche d'une solution de calcul fiable, sécurisée et facile à gérer, refroidie par air, le DL380a Gen12 est une solution performante et novatrice pour le marché en pleine croissance de l'IA grand public.
StorageReview a reconquis un titre de champion du calcul numérique avec un nouveau record de résolution de pi à 314 billions de décimales. Le π moderne…
Ubiquiti a récemment étendu son écosystème UniFi Protect en introduisant une nouvelle génération de capteurs intelligents alimentés par…
Nous avons récemment reçu le système de distribution d'énergie Ubiquiti Power Distribution Pro (USP-PDU-Pro) afin d'évaluer son intégration dans une configuration rack UniFi moderne. Prix…
Le ThinkPad P1 Gen 8 est conçu pour les ingénieurs, les développeurs et les professionnels de la création, alliant performances exceptionnelles et design moderne…
Lors de notre dernier test du UNAS Pro d'Ubiquiti, ce NAS à sept baies s'était distingué comme une solution de stockage performante et entièrement intégrée…
L'HP EliteDesk 8 Mini G1a est un ordinateur de bureau professionnel compact conçu autour de deux familles de processeurs AMD distinctes, offrant aux entreprises…