NVIDIA H100 Tensor Core GPU 在 MLPerf 行業標準 AI 基準測試中的首次亮相通過提供比上一代 GPU 高出 4.5 倍的性能，在所有工作負載的推理方面創造了世界紀錄。 NVIDIA A100 Tensor Core GPU 和用於人工智能機器人的 NVIDIA Jetson AGX Orin 模塊在所有 MLPerf 測試中提供了整體領先的推理性能：圖像和語音識別、自然語言處理和推薦系統。
NVIDIA H100 Tensor Core GPU 在 MLPerf 行業標準 AI 基準測試中的首次亮相通過提供比上一代 GPU 高出 4.5 倍的性能，在所有工作負載的推理方面創造了世界紀錄。 NVIDIA A100 Tensor Core GPU 和用於人工智能機器人的 NVIDIA Jetson AGX Orin 模塊在所有 MLPerf 測試中提供了整體領先的推理性能：圖像和語音識別、自然語言處理和推薦系統。
H100，又名 Hopper，提高了所有六個神經網絡的每加速器性能標準，在單獨的服務器和離線測試中展示了吞吐量和速度方面的領先地位。 部分歸功於其 Transformer Engine，Hopper 在用於自然語言處理的 BERT 模型上表現出色。 它是 MLPerf AI 模型中規模最大、性能要求最高的模型之一。
這些推理基準標誌著今年晚些時候推出的 H100 GPU 的首次公開演示。 H100 GPU 將參與未來的 MLPerf 輪次訓練。
A100 GPU 展現領導力
NVIDIA A100 GPU 今天可從主要的雲服務提供商和系統製造商處購買，在 AI 推理的主流性能方面繼續表現出整體領先地位，它贏得的測試比數據中心和邊緣計算類別和場景中的任何提交都多。 100 月，AXNUMX 還在 MLPerf 培訓基準測試中全面領先，展示了其在 AI 工作流程中的能力。
自 2020 年 100 月在 MLPerf 上首次亮相以來，由於 NVIDIA AI 軟件的不斷改進，A6 GPU 的性能提高了 XNUMX 倍。 NVIDIA AI 是唯一在數據中心和邊緣計算中運行所有 MLPerf 推理工作負載和場景的平台。
用戶需要多功能的性能
NVIDIA GPU 在所有重要 AI 模型中的性能領先地位為用戶驗證了該技術，因為現實世界的應用程序通常會使用許多不同類型的神經網絡。 例如，AI 應用程序可能需要理解用戶的口頭請求、對圖像進行分類、提出建議，然後以人聲語音的口頭消息形式提供響應。 每個步驟都需要不同類型的 AI 模型。
MLPerf 基準涵蓋這些以及其他流行的 AI 工作負載和場景，包括計算機視覺、自然語言處理、推薦系統和語音識別。 MLPerf 結果可幫助用戶根據特定測試做出明智的購買決策，確保用戶獲得性能可靠且靈活的產品。
MLPerf 基準得到了包括亞馬遜、Arm、百度、谷歌、哈佛、英特爾、Meta、微軟、斯坦福和多倫多大學在內的廣泛團體的支持。
Orin 在邊緣領先
在邊緣計算方面，NVIDIA Orin 運行了每項 MLPerf 基準測試，贏得了比任何其他低功耗片上系統更多的測試，與 50 月份在 MLPerf 上首次亮相相比，能源效率提高了 5%。 在上一輪中，Orin 的運行速度比上一代 Jetson AGX Xavier 模塊快 2 倍，同時能效平均提高 XNUMX 倍。
Orin 將 NVIDIA Ampere 架構 GPU 和一組強大的 Arm CPU 內核集成到單個芯片中。 它現已在 NVIDIA Jetson AGX Orin 開發人員套件和用於機器人和自主系統的生產模塊中提供。 它支持完整的 NVIDIA AI 軟件堆棧，包括自動駕駛汽車 (NVIDIA Hyperion)、醫療設備 (Clara Holoscan) 和機器人技術 (Isaac) 的平台。
廣泛的 NVIDIA AI 生態系統
MLPerf 結果表明，業界最廣泛的生態系統在機器學習領域支持 NVIDIA AI。 本輪提交的 70 多篇論文在 NVIDIA 平台上運行，Microsoft Azure 提交了在其云服務上運行 NVIDIA AI 的結果。
此外，本輪還有來自華碩、戴爾科技、富士通、技嘉、惠普、聯想、超微等19家系統廠商的10款NVIDIA認證系統亮相。 他們的工作展示了 NVIDIA AI 在雲端和本地的出色性能。
MLPerf 是客戶評估 AI 平台和供應商的寶貴工具。 最新一輪的結果表明，這些合作夥伴提供的性能將隨著 NVIDIA 平台的發展而增長。 用於這些測試的所有軟件都可以從 MLPerf 存儲庫中獲得，因此任何人都可以獲得這些結果。 優化不斷地折疊到可用的容器中 NGC，NVIDIA 的 GPU 加速軟件目錄。 NVIDIA TensorRT，本輪每次提交都用於優化 AI 推理，位於目錄中。
我們最近運行了自己的邊緣 MLperf 結果 超微 聯想 內置 T4 和 A2 GPU 的平台。
參與 StorageReview
電子報 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | Facebook | RSS訂閱
