最新のMLPerfテスト結果が公開され、NVIDIAはクラウドからエッジまで、AI推論において最高のパフォーマンスと効率性を実現しました。MLPerfは、独立した第三者機関によるベンチマークとして、AIパフォーマンスを評価する上で依然として有用な指標です。NVIDIAのAIプラットフォームは、MLPerfの開始以来、トレーニングと推論において常にトップクラスの性能を誇り、最新のMLPerf Inference 3.0ベンチマークでもその評価を維持しています。
ソフトウェアの最適化のおかげで、DGX H100 システムで実行されている NVIDIA H100 Tensor コア GPU は、AI 推論のすべてのテストで最高のパフォーマンスを実現し、54 月のデビューから 100% 向上しました。ヘルスケア分野では、H31 GPU は、医療画像の MLPerf ベンチマークである 3D-UNet で XNUMX% のパフォーマンス向上を実現しました。
9680X H8 GPU を搭載した Dell PowerEdge XE100
Transformer Engine を搭載した H100 GPU は、Hopper アーキテクチャに基づいており、BERT で優れた性能を発揮しました。 BERT は、Google によって開発された自然言語処理のモデルであり、テキストの双方向表現を学習して、さまざまなタスクにわたってラベルのないテキストの文脈上の理解を大幅に向上させます。これは、RoBERTa、ALBERT、DistilBERT などの BERT に似たモデルのファミリー全体の基礎です。
Generative AI を使用すると、ユーザーはテキスト、画像、3D モデルなどをすばやく作成できます。スタートアップ企業からクラウド サービス プロバイダーに至るまで、企業は新しいビジネス モデルを実現し、既存のビジネス モデルをスピードアップするために生成 AI を導入しています。最近話題になっている生成 AI ツールは ChatGPT で、クエリや入力後の即時応答を期待する何百万人ものユーザーが使用しています。
ディープラーニングがあらゆる場所に導入されているため、工場現場からオンライン推奨システムに至るまで、推論のパフォーマンスが重要です。
L4 GPU が驚異的なパフォーマンスを実現
NVIDIA L4 Tensor Core GPUは、初出荷時において、前世代のT4 GPUの3倍以上の速度で動作しました。薄型フォームファクタにパッケージ化されたL4 GPUアクセラレータは、ほぼすべてのサーバープラットフォームで高いスループットと低遅延を実現するように設計されています。L4 Tensor GPUはすべてのMLPerfワークロードを実行し、FP8フォーマットをサポートしているため、パフォーマンスを重視するBERTモデルでも優れた結果を示しました。
卓越した AI パフォーマンスに加え、L4 GPU は最大 10 倍高速な画像デコード、最大 3.2 倍高速なビデオ処理、4 倍以上高速なグラフィックスとリアルタイム レンダリングのパフォーマンスを実現します。数週間前の GTC で発表されたアクセラレータは、システム メーカーやクラウド サービス プロバイダーから入手できます。
どこのネットワーク部門ですか?
NVIDIA のフルスタック AI プラットフォームは、新しい MLPerf テストであるネットワーク部門ベンチマークでその価値を示しました。
ネットワーク分割ベンチマークは、データをリモート推論サーバーにストリーミングします。これは、企業ユーザーが企業ファイアウォールの内側にデータを保存してクラウドで AI ジョブを実行する一般的なシナリオを反映しています。
BERT では、リモート NVIDIA DGX A100 システムはローカル最大パフォーマンスの最大 96% を実現しましたが、CPU がいくつかのタスクを完了するのを待っている間に部分的に速度が低下しました。 GPU のみによって処理されるコンピューター ビジョンの ResNet-50 テストでは、100% に達しました。
NVIDIA Quantum Infiniband ネットワーキング、NVIDIA ConnectX SmartNIC、NVIDIA GPUDirect などのソフトウェアがテスト結果に重要な役割を果たしました。
Orin はエッジで改善します
これとは別に、NVIDIA Jetson AGX Orin システムオンモジュールは、昨年の結果と比較して、エネルギー効率で最大 63 パーセント、パフォーマンスで 81 パーセントの向上を実現しました。 Jetson AGX Orin は、バッテリー駆動システムなど、低電力レベルの限られた空間で AI が必要な場合に推論を提供します。
Jetson Orin NX 16G は、より少ない電力を必要とする小型モジュールであり、ベンチマークで良好なパフォーマンスを示しました。 Jetson Xavier NX プロセッサの最大 3.2 倍のパフォーマンスを実現しました。
NVIDIA AI エコシステム
MLPerf の結果は、NVIDIA AI が機械学習の広範なエコシステムによって支えられていることを示しています。このラウンドでは、Microsoft Azure クラウド サービスおよびシステム メーカー、ASUS、Dell Technologies、GIGABYTE、H3C、Lenovo、Nettrix、Supermicro、xFusion を含む XNUMX 社が NVIDIA プラットフォームに関する結果を提出しました。彼らの研究は、ユーザーがクラウドと独自のデータセンターで実行されているサーバーの両方で NVIDIA AI を使用して優れたパフォーマンスを実現できることを示しています。
Amazon