NVIDIA poursuit l'évolution de son unité de traitement de données (DPU) avec le lancement de la NVIDIA BlueField-2. Cette DPU est présentée comme une infrastructure de centre de données sur une puce, optimisée pour les charges de travail cloud d'entreprise et HPC. La BlueField-2 combine une carte réseau NVIDIA ConnectX-6 Dx avec un ensemble de cœurs Arm et des fonctions de déchargement dédiées à l'infrastructure. Elle offre des moteurs d'accélération matérielle conçus spécifiquement pour cet usage, entièrement programmables par logiciel. Brian s'est entretenu avec NVIDIA à ce sujet plus tôt cette année dans l'un de ses podcasts. Vous trouverez plus d' informations sur les DPU NVIDIA ici.
Les fonctionnalités sont impressionnantes, mais d'abord, regardons l'évolution du DPU. Si vous n'êtes pas dans l'historique, vous pouvez passer aux détails du NVIDIA BlueField-2. Tout a commencé dans les années 90 lorsque les processeurs Intel x86 ont fourni une puissance inégalée aux entreprises, combinés à un système d'exploitation. Vient ensuite le client/serveur, puis l'avènement du traitement distribué. Le développement de logiciels et la croissance des bases de données se sont accélérés rapidement, provoquant une explosion du déploiement de matériel dans le centre de données.
Au début des années 2000, VMware a introduit l'hyperviseur ESX et virtualisé le processeur x86, permettant à plusieurs instances de système d'exploitation de s'exécuter sur un seul serveur. Les machines virtuelles n'étaient pas nécessairement nouvelles ; IBM a fait fonctionner des machines virtuelles sur ses mainframes pendant de nombreuses années avant de créer l'hyperviseur ESX. Cependant, ce développement a conduit à la croissance de l'agrégation de l'infrastructure des centres de données.
Le matériel était désormais programmable, les développeurs écrivant du code qui définissait et provisionnait des machines virtuelles sans intervention manuelle. Cela a conduit à la poussée éventuelle de la migration vers le cloud computing.
VMware a réalisé le succès de sa plate-forme ESX et s'est rapidement lancé dans la virtualisation du stockage et du réseau. Pour ne pas être en reste, EMC s'est associé à Cisco pour créer sa propre solution de stockage et de réseau virtualisé. Une vague d'acquisitions a eu lieu. VMware a développé vSANS intégré à sa plateforme vSphere.
Le développement de cette infrastructure convergée est appelé Software-Defined Data Center (SDDC). Les grands acteurs, Microsoft, VMware, Cisco et EMC, se sont tous précipités pour conquérir le marché du SDDC. Tout est devenu programmable : E/S, sécurité, système d'exploitation, applications, etc. SDDC n'était qu'un composant CPU, taxant les ressources disponibles utilisées pour d'autres services.
Toute cette convergence et cette programmabilité ont conduit au développement de l'intelligence artificielle (IA) où les GPU ont été développés pour répondre aux exigences de traitement de ces applications à forte intensité graphique. Cela conduit au développement de matériel déchargeant certaines des opérations du CPU. Les fonctions de mise en réseau, généralement gourmandes en CPU, ont été déchargées et NVIDIA a sauté sur cette nouvelle opportunité, a acquis Mellanox pour développer des adaptateurs réseau intelligents.
Les GPU sont devenus plus intelligents et les cartes réseau intelligentes ont joué un rôle central dans la suppression du traitement réseau et graphique de l'agrégation SDDC globale. En fin de compte, le développement de DPU est le résultat d'une intelligence déchargée du CPU.
Le nouveau DPU NVIDIA BlueField-2 a créé un système sur une puce combinant un processeur multicœur, une interface réseau hautes performances et des moteurs d'accélération programmables.
NVIDIA BlueField-2 DPU – La viande
CPU v GPU v DPU : Qu'est-ce qui différencie un DPU ?
Un DPU est une nouvelle classe de processeurs programmables qui combine trois éléments clés. Un DPU est un système sur puce, ou SoC, qui combine :
- Un processeur multicœur standard, hautes performances, programmable par logiciel, généralement basé sur l'architecture Arm largement utilisée, étroitement couplé aux autres composants SoC.
- Une interface réseau hautes performances capable d'analyser, de traiter et de transférer efficacement des données à la vitesse de ligne, ou à la vitesse du reste du réseau, vers les GPU et les CPU.
- Un riche ensemble de moteurs d'accélération flexibles et programmables qui déchargent et améliorent les performances des applications pour l'IA et l'apprentissage automatique, la sécurité, les télécommunications et le stockage, entre autres.
Le DPU NVIDIA® BlueField®-2 est la première infrastructure sur puce de centre de données optimisée pour le cloud moderne et le HPC. Fournit un large éventail de services accélérés de mise en réseau, de stockage, de sécurité et de gestion définis par logiciel avec la capacité de décharger, d'accélérer et d'isoler l'infrastructure du centre de données. Équipé d'une connectivité Ethernet 200 Gb/s ou InfiniBand, le DPU BlueField-2 accélère le chemin réseau pour le plan de contrôle et le plan de données et est armé d'une sécurité « zéro confiance » pour empêcher les violations de données et les cyberattaques.
NVIDIA ConnectX®-6 Dx combine l'adaptateur réseau avec une gamme de cœurs Arm® et des déchargements spécifiques à l'infrastructure, offrant des moteurs d'accélération matérielle spécialement conçus avec une programmabilité logicielle complète. Situé à la périphérie de chaque serveur, BlueField-2 permet des charges de travail cloud et d'intelligence artificielle (IA) agiles, sécurisées et hautes performances, et réduit le coût total de possession tout en augmentant l'efficacité du centre de données.
Le framework logiciel NVIDIA DOCA™ permet aux développeurs de créer rapidement des applications et des services pour le DPU BlueField-2. NVIDIA DOCA exploite les accélérateurs matériels DPU, augmentant les performances, l'efficacité et la sécurité du centre de données.
Fonctionnalités du DPU NVIDIA BlueField-2
Interfaces réseau et hôte |
Stockage |
| Interfaces réseau | BlueField SNAP – NVMe™ et VirtIO-blk |
| Ethernet – Deux ports de 10/25/50/100 Gb/s, ou un seul port de 200 Gb/s | Accélération NVMe-oF™ |
| InfiniBand - Deux ports EDR / HDR100 ou un seul port HDR | Accélération de compression et de décompression |
| Interface PCI Express | Hachage et déduplication des données |
| 8 ou 16 voies de PCIe Gen 4.0 | Connecteurs M.2 / U.2 pour un stockage directement connecté |
| Bifurcation du commutateur PCIe avec 8 ports en aval | Networking |
| Sous-système ARM/DDR | RoCE, RoCE sans contact |
| Noyaux de bras | Déchargements sans état pour : |
| Pipeline jusqu'à 8 cœurs Armv8 A72 (64 bits) | TCP/UDP/IP |
| 1 Mo de cache L2 pour 2 cœurs | LSO/LRO/somme de contrôle/RSS/TSS/HDS |
| Cache L6 de 3 Mo avec plusieurs politiques d'expulsion | Insertion/suppression de VLAN |
| Prise en charge des modules DIMM DDR4 | SR-IOV |
| Contrôleur DRAM DDR4 unique | VirtIO-net |
| 8 Go / 16 Go / 32 Go de mémoire DDR4 intégrée | Multifonction par port |
| Prise en charge de la protection contre les erreurs ECC | Prise en charge de VMware NetQueue |
| Accélérations matérielles | Hiérarchies de virtualisation |
| Sécurité | Niveaux de QoS d'entrée et de sortie 1K |
| Démarrage sécurisé avec racine de confiance matérielle | Options de démarrage |
| Mise à jour sécurisée du firmware | Démarrage sécurisé (authentifié RSA) |
| Conforme à Cerberus | Démarrage à distance via Ethernet |
| Accélération des expressions régulières (RegEx) | Démarrage à distance sur iSCSI |
| Cryptage des données en mouvement IPsec/TLS | PXE et UEFI |
| Clé AES-GCM 128/256 bits | Direction |
| Cryptage des données au repos AES-XTS 256/512 bits | Port de gestion hors bande 1GbE |
| Accélération matérielle SHA 256 bits | NC-SI, MCTP sur SMBus et MCTP sur PCIe |
| Accélérateur matériel à clé publique | PLDM pour moniteur et contrôle DSP0248 |
| RSA, Diffie-Hellman, DSA, ECC, | PLDM pour la mise à jour du micrologiciel DSP026 |
| EC-DSA, EC-DH | Interface I2C pour le contrôle et la configuration des appareils |
| Véritable générateur de nombres aléatoires (TRNG) | Interface SPI pour flasher |
| contrôleur de mémoire eMMC | |
| UART | |
| USB |
Un DPU pour le stockage, les réseaux et l'apprentissage automatique
Voyons comment le nouveau BlueField-2 aborde les technologies de stockage rapide. BlueField offre une solution complète pour les plates-formes de stockage, telles que NVMe over Fabrics (NVMe-oF), All-Flash Array (AFA) et un contrôleur de stockage pour JBOF, la mise en cache de serveur (memcached), le stockage en rack désagrégé et l'évolutivité directe. stockage attaché. L'intelligence de ce DPU en fait un choix flexible.
NVIDIA a publié ici les résultats impressionnants de ses tests pour la BlueField-2 . L'environnement de test est décrit dans l'article de blog.
Solution de stockage complète
BlueField-2 utilise la puissance de traitement des cœurs Arm pour les applications de stockage telles que les baies All-Flash utilisant NVMe-oF, Ceph, Lustre, le déchargement iSCSI/TCP, la couche de traduction Flash, la compression/décompression des données et la déduplication.
Dans les baies de stockage hautes performances, BlueField-2 fonctionne comme le processeur principal du système, gérant les tâches du contrôleur de stockage et la terminaison du trafic. Il peut également être configuré en tant que coprocesseur, déchargeant des tâches de stockage spécifiques de l'hôte, isolant une partie du support de stockage de l'hôte ou permettant l'abstraction de la logique de stockage définie par logiciel à l'aide des cœurs BlueField Arm.
Capacités NVMe over Fabrics
Utilisant les capacités avancées de NVMe-oF, la technologie basée sur BlueField RDMA offre des performances d'accès au stockage à distance égales à celles du stockage local, avec une surcharge CPU minimale, permettant un stockage désagrégé efficace et des solutions hyperconvergées.
Accélération du stockage
Le commutateur PCIe intégré BlueField permet aux clients de construire des appliances de stockage autonomes et de connecter un seul BlueField à plusieurs périphériques de stockage sans commutateur externe.
Remise de signature
Le contrôleur réseau embarqué BlueField permet la vérification matérielle du champ d'intégrité des données/informations de protection T10 (T10-DIF/PI), réduisant ainsi la charge logicielle et accélérant la transmission des données à l'application. Le transfert de signature est géré par l'adaptateur pour les paquets entrants et sortants, allégeant la charge logicielle sur les machines initiatrice et cible.
BlueField pour la mise en réseau et la sécurité
Que ce soit sous la forme d'une carte réseau intelligente ou d'une plateforme réseau autonome, la nouvelle Bluefield-2 assure un déploiement efficace des applications réseau. Grâce à une combinaison de déchargements avancés et de puissance de calcul Arm, BlueField termine les protocoles réseau et de sécurité en temps réel.
Carte réseau intelligente BlueField
En tant que carte réseau, vous bénéficiez de la flexibilité nécessaire pour implémenter totalement ou partiellement les plans de données et de contrôle, ce qui permet une utilisation plus efficace des ressources de calcul. La programmabilité de la carte permet d'intégrer de nouvelles fonctionnalités pour les plans de données et de contrôle.
Fonctionnalités de sécurité BlueField
En matière de sécurité, l' intégration du déchargement du chiffrement pour les opérations cryptographiques symétriques et asymétriques en fait un choix idéal pour la mise en œuvre d'applications de sécurité. La sécurité est intégrée à l'ADN de l' infrastructure du centre de données, réduisant ainsi l'exposition aux menaces, minimisant les risques et permettant la prévention, la détection et la réponse aux menaces potentielles en temps réel.
Virtualisation indolore
Grâce à la technologie PCIe SR-IOV de NVIDIA, les administrateurs de centres de données bénéficieront d'une meilleure utilisation des serveurs tout en réduisant les coûts, la consommation d'énergie et la complexité du câblage, permettant ainsi d'héberger davantage de machines virtuelles et d'utilisateurs sur le même matériel. Cette technologie répond assurément à toutes les préoccupations liées au coût total de possession (TCO).
Réseaux de superposition
Les opérateurs de centres de données utilisent des technologies de superposition de réseau (VXLAN, NVGRE, GENEVE) pour pallier les problèmes d'évolutivité. Grâce à des moteurs de déchargement avancés qui encapsulent et désencapsulent les en-têtes du protocole de superposition, cette unité de traitement distribué (DPU) permet aux déchargements traditionnels de fonctionner sur les protocoles tunnelisés et décharge également les capacités de routage NAT.
BlueField pour les environnements d'apprentissage automatique
Bien sûr, NVIDIA s'est adressé au marché de l'IA/ML avec ce nouveau DPU fournissant des solutions rentables et intégratives pour les appareils d'apprentissage automatique. Plusieurs GPU peuvent être connectés via l'interface PCIe Gen 3.0/4.0. Avec ses technologies RDMA et GPUDirect® RDMA, BlueField-2 offre une livraison de données efficace pour des analyses en temps réel et des informations sur les données.
Accélération RDMA
Le matériel de chemin de données du contrôleur de réseau utilise les technologies RDMA et RoCE, offrant une faible latence et un débit élevé avec des cycles CPU proches de zéro.
BlueField pour les plates-formes multi-GPU
BlueField-2 permet de connecter plusieurs GPU grâce à son commutateur PCIe intégré. La compatibilité PCIe 4.0 de BlueField garantit la prise en charge des GPU de nouvelle génération.
PeerDirect ®
PeerDirect, un produit Mellanox, est une architecture de communication accélérée qui prend en charge la communication pair à pair entre BlueField et des périphériques tiers tels que des GPU (par exemple, NVIDIA GPUDirect RDMA), des adaptateurs de coprocesseur (par exemple, Intel Xeon Phi) ou des adaptateurs de stockage. PeerDirect offre une architecture standardisée permettant aux périphériques de communiquer directement avec des périphériques distants via le réseau, évitant ainsi les copies inutiles en mémoire système et la surcharge du processeur grâce à la copie directe des données vers et depuis les périphériques.
Technologie GPUDirect RDMA
L'augmentation rapide des performances du matériel graphique, conjuguée aux récentes améliorations de la programmabilité des GPU, a fait des accélérateurs graphiques une plateforme incontournable pour les tâches exigeantes en calcul dans une grande variété de domaines d'application. Les GPU offrant un grand nombre de cœurs et des capacités de calcul en virgule flottante, un réseau haut débit est indispensable pour assurer la connectivité entre les plateformes et garantir un débit élevé et une latence minimale pour les communications GPU-à-GPU. GPUDirect RDMA est une technologie implémentée dans les GPU Bluefield-2 et NVIDIA qui permet un échange direct de données entre les GPU grâce à l'interconnexion haut débit.
GPUDirect RDMA offre des améliorations considérables en termes de bande passante et de latence de communication entre les dispositifs GPU de différents nœuds de cluster.
Conclusion
Les tests NVIDIA ont révélé les caractéristiques de performances suivantes du DPU BlueField :
- Les tests avec des tailles d'E/S 512B plus petites ont entraîné des IOPS plus élevées mais un débit inférieur à la vitesse de ligne, tandis que des tailles d'E/S de 4 Ko ont entraîné un débit plus élevé mais des nombres d'IOPS inférieurs.
- Les charges de travail 100 % en lecture et 100 % en écriture ont fourni des IOPS et un débit similaires, tandis que les charges de travail mixtes 50/50 en lecture/écriture ont produit de meilleures performances en utilisant simultanément les deux sens de la connexion réseau.
- L'utilisation de SPDK a entraîné des performances supérieures à celles des logiciels de l'espace noyau, mais au prix d'une utilisation plus élevée du processeur du serveur, ce qui est un comportement attendu, car SPDK s'exécute dans l'espace utilisateur avec une interrogation constante.
- Le nouveau noyau Linux 5.15 a mieux fonctionné que le noyau 4.18 en raison des améliorations de stockage ajoutées régulièrement par la communauté Linux.
Globalement, les résultats des tests internes sont plutôt impressionnants. Le BlueField-2 a atteint 41.5 millions d'IOPS , soit plus de quatre fois les performances de n'importe quel autre DPU actuellement sur le marché.
Les performances réseau standard étaient également impressionnantes. Le DPU a atteint plus de cinq millions d'IOPS en 4 Ko et entre sept et vingt millions d'IOPS en 512 Ko pour NVMe-oF . Si vous cherchez à améliorer les performances globales de votre centre de données, ce DPU est fait pour vous.
Amazon