Das Debüt der NVIDIA H100 Tensor Core GPU bei den MLPerf-Industriestandard-KI-Benchmarks stellte Weltrekorde bei der Inferenz bei allen Workloads auf, indem sie bis zu 4.5-mal mehr Leistung als GPUs der vorherigen Generation lieferte. NVIDIA A100 Tensor Core-GPUs und das NVIDIA Jetson AGX Orin-Modul für KI-gestützte Robotik lieferten in allen MLPerf-Tests eine insgesamt führende Inferenzleistung: Bild- und Spracherkennung, Verarbeitung natürlicher Sprache und Empfehlungssysteme.
Der H100, auch bekannt als Hopper, hat die Messlatte für die Leistung pro Beschleuniger in allen sechs neuronalen Netzen höher gelegt und in separaten Server- und Offline-Tests die Führung in Bezug auf Durchsatz und Geschwindigkeit unter Beweis gestellt. Teilweise dank seiner Transformer Engine war Hopper beim BERT-Modell für die Verarbeitung natürlicher Sprache hervorragend. Es gehört zu den größten und leistungsintensivsten KI-Modellen von MLPerf.
Diese Inferenz-Benchmarks stellen die erste öffentliche Demonstration von H100-GPUs dar, die später in diesem Jahr verfügbar sein wird. Die H100-GPUs werden zu Trainingszwecken an zukünftigen MLPerf-Runden teilnehmen.
A100-GPUs zeigen Führungsqualitäten
NVIDIA A100-GPUs, die heute von großen Cloud-Dienstanbietern und Systemherstellern erhältlich sind, zeigten weiterhin insgesamt eine Führungsrolle bei der Mainstream-Leistung bei KI-Inferenz, indem sie mehr Tests als jede andere Einreichung in den Kategorien und Szenarien für Rechenzentren und Edge-Computing gewannen. Im Juni war der A100 auch bei den MLPerf-Trainings-Benchmarks führend und stellte seine Fähigkeiten im gesamten KI-Workflow unter Beweis.
Seit ihrem Debüt auf MLPerf im Juli 2020 haben die A100-GPUs ihre Leistung dank kontinuierlicher Verbesserungen der NVIDIA-KI-Software um das Sechsfache gesteigert. NVIDIA AI ist die einzige Plattform, die alle MLPerf-Inferenz-Workloads und -Szenarien im Rechenzentrum und Edge-Computing ausführt.
Benutzer benötigen vielseitige Leistung
Die führende Leistung von NVIDIA bei der GPU-Leistung bei allen wichtigen KI-Modellen bestätigt die Technologie für Benutzer, da in realen Anwendungen typischerweise viele neuronale Netze unterschiedlicher Art zum Einsatz kommen. Beispielsweise muss eine KI-Anwendung möglicherweise die gesprochene Anfrage eines Benutzers verstehen, ein Bild klassifizieren, eine Empfehlung aussprechen und dann eine Antwort als gesprochene Nachricht mit einer menschlich klingenden Stimme übermitteln. Jeder Schritt erfordert eine andere Art von KI-Modell.
Die MLPerf-Benchmarks decken diese und andere beliebte KI-Workloads und -Szenarien ab, darunter Computer Vision, Verarbeitung natürlicher Sprache, Empfehlungssysteme und Spracherkennung. Die MLPerf-Ergebnisse helfen Benutzern, fundierte Kaufentscheidungen auf der Grundlage spezifischer Tests zu treffen, um sicherzustellen, dass Benutzer ein Produkt erhalten, das zuverlässige und flexible Leistung bietet.
Die MLPerf-Benchmarks werden von einer breiten Gruppe unterstützt, zu der Amazon, Arm, Baidu, Google, Harvard, Intel, Meta, Microsoft, Stanford und die University of Toronto gehören.
Orin führt am Rand
Im Edge-Computing führte NVIDIA Orin jeden MLPerf-Benchmark durch und gewann mehr Tests als jedes andere System-on-a-Chip mit geringem Stromverbrauch. Dabei konnte die Energieeffizienz im Vergleich zum Debüt von MLPerf im April um bis zu 50 % gesteigert werden. In der vorherigen Runde lief Orin bis zu 5-mal schneller als das Jetson AGX Xavier-Modul der vorherigen Generation und lieferte gleichzeitig eine durchschnittlich 2-mal bessere Energieeffizienz.
Orin integriert in einem einzigen Chip eine GPU mit NVIDIA-Ampere-Architektur und einen Cluster leistungsstarker Arm-CPU-Kerne. Es ist ab sofort im NVIDIA Jetson AGX Orin-Entwicklerkit und in Produktionsmodulen für Robotik und autonome Systeme erhältlich. Es unterstützt den gesamten KI-Software-Stack von NVIDIA, einschließlich Plattformen für autonome Fahrzeuge (NVIDIA Hyperion), medizinische Geräte (Clara Holoscan) und Robotik (Isaac).
Umfangreiches NVIDIA-KI-Ökosystem
Die MLPerf-Ergebnisse zeigen, dass das umfassendste Ökosystem der Branche NVIDIA AI beim maschinellen Lernen unterstützt. Mehr als 70 Einreichungen in dieser Runde liefen auf der NVIDIA-Plattform, und Microsoft Azure reichte Ergebnisse ein, in denen NVIDIA AI in seinen Cloud-Diensten ausgeführt wurde.
Darüber hinaus erschienen in dieser Runde 19 NVIDIA-zertifizierte Systeme von 10 Systemherstellern, darunter ASUS, Dell Technologies, Fujitsu, GIGABYTE, Hewlett Packard Enterprise, Lenovo und Supermicro. Ihre Arbeit zeigt eine hervorragende Leistung mit NVIDIA AI in der Cloud und vor Ort.
MLPerf ist ein wertvolles Werkzeug für Kunden, die KI-Plattformen und -Anbieter evaluieren. Die Ergebnisse der letzten Runde zeigen, dass die Leistung dieser Partner mit der NVIDIA-Plattform weiter steigt. Die gesamte für diese Tests verwendete Software ist im MLPerf-Repository verfügbar, sodass jeder diese Ergebnisse einsehen kann. Optimierungen werden kontinuierlich in Container integriert, die auf NGC , dem NVIDIA-Katalog für GPU-beschleunigte Software, verfügbar sind. NVIDIA TensorRT , das in dieser Runde von allen Einreichungen zur Optimierung der KI-Inferenz verwendet wurde, ist ebenfalls im Katalog enthalten.
Wir haben kürzlich unsere eigenen Edge-MLperf-Ergebnisse auf Supermicro- und Lenovo -Plattformen mit den T4- und A2-GPUs durchgeführt.
Amazon