Les news Résultats MLPerf ont été publiés, NVIDIA offrant les performances et l'efficacité les plus élevées du cloud à la périphérie pour l'inférence IA. MLPerf reste une mesure utile des performances de l'IA en tant que référence tierce indépendante. La plate-forme d'IA de NVIDIA est en tête de liste pour la formation et l'inférence depuis la création de MLPerf, y compris les derniers benchmarks MLPerf Inference 3.0.
Grâce aux optimisations logicielles, les GPU NVIDIA H100 Tensor Core exécutés sur les systèmes DGX H100 ont fourni les performances les plus élevées dans chaque test d'inférence IA, en hausse de 54 % par rapport aux débuts en septembre. Dans le domaine de la santé, les GPU H100 ont permis des gains de performances de 31 % sur 3D-UNet, la référence MLPerf pour l'imagerie médicale.
Dell PowerEdge XE9680 avec 8 processeurs graphiques H100
Propulsé par son Transformer Engine, le GPU H100, basé sur l'architecture Hopper, a excellé sur BERT. BERT est un modèle de traitement du langage naturel développé par Google qui apprend les représentations bidirectionnelles du texte pour améliorer considérablement la compréhension contextuelle du texte sans étiquette dans de nombreuses tâches différentes. C'est la base de toute une famille de modèles de type BERT tels que RoBERTa, ALBERT et DistilBERT.
Avec l'IA générative, les utilisateurs peuvent créer rapidement du texte, des images, des modèles 3D et bien plus encore. Les entreprises, des startups aux fournisseurs de services cloud, adoptent l'IA générative pour permettre de nouveaux modèles commerciaux et accélérer les modèles existants. ChatGPT est un outil d'IA génératif qui a fait les manchettes ces derniers temps. Il est utilisé par des millions de personnes qui attendent des réponses instantanées suite à des requêtes et des entrées.
L'apprentissage en profondeur étant déployé partout, les performances en matière d'inférence sont essentielles, des usines aux systèmes de recommandation en ligne.
Les GPU L4 offrent des performances époustouflantes
Lors de son voyage inaugural, Nvidia L4 Les GPU Tensor Core ont fonctionné à plus de 3 fois la vitesse des GPU T4 de la génération précédente. Les accélérateurs GPU L4, conditionnés dans un facteur de forme à profil bas, sont conçus pour offrir un débit élevé et une faible latence dans presque toutes les plates-formes de serveur. Les GPU L4 Tensor exécutaient toutes les charges de travail MLPerf et, grâce à leur prise en charge du format FP8, les résultats étaient excellents sur le modèle BERT gourmand en performances.
En plus des performances extrêmes de l'IA, les GPU L4 offrent un décodage d'image jusqu'à 10 fois plus rapide, un traitement vidéo jusqu'à 3.2 fois plus rapide et des performances graphiques et de rendu en temps réel plus de 4 fois plus rapides. Les accélérateurs, annoncés au GTC il y a quelques semaines, sont disponibles auprès des fabricants de systèmes et des fournisseurs de services cloud.
Quel Réseau-Division ?
La plate-forme d'IA full-stack de NVIDIA a fait ses preuves dans un nouveau test MLPerf : Benchmark de la division réseau !
Le benchmark de division de réseau transmet les données à un serveur d'inférence distant. Il reflète le scénario courant d'utilisateurs d'entreprise exécutant des tâches d'IA dans le cloud avec des données stockées derrière des pare-feu d'entreprise.
Sur BERT, les systèmes NVIDIA DGX A100 distants ont fourni jusqu'à 96 % de leurs performances locales maximales, ralenties en partie en attendant que les processeurs effectuent certaines tâches. Lors du test ResNet-50 pour la vision par ordinateur, géré uniquement par les GPU, ils ont atteint 100 %.
La mise en réseau NVIDIA Quantum Infiniband, les SmartNIC NVIDIA ConnectX et des logiciels tels que NVIDIA GPUDirect ont joué un rôle important dans les résultats des tests.
Orin s'améliore à l'Edge
Par ailleurs, le système sur module NVIDIA Jetson AGX Orin a enregistré des gains allant jusqu'à 63 % en efficacité énergétique et 81 % en performances par rapport aux résultats de l'année dernière. Jetson AGX Orin fournit une inférence lorsque l'IA est nécessaire dans des espaces confinés à de faibles niveaux de puissance, y compris les systèmes alimentés par batterie.
Le Jetson Orin NX 16G, un module plus petit nécessitant moins de puissance, s'est bien comporté dans les benchmarks. Il offrait jusqu'à 3.2 fois les performances du processeur Jetson Xavier NX.
Écosystème d'IA NVIDIA
Les résultats de MLPerf montrent que NVIDIA AI s'appuie sur un vaste écosystème d'apprentissage automatique. Dix entreprises ont soumis des résultats sur la plate-forme NVIDIA lors de cette ronde, notamment les fabricants de services et de systèmes cloud Microsoft Azure, ASUS, Dell Technologies, GIGABYTE, H3C, Lenovo, Nettrix, Supermicro et xFusion. Leur travail montre que les utilisateurs peuvent obtenir d'excellentes performances avec NVIDIA AI à la fois dans le cloud et sur des serveurs exécutés dans leurs propres centres de données.
Amazon