NVIDIA 憑藉最新推出的 NVIDIA GH200 Grace Hopper 超級芯片，在人工智能 (AI) 和高性能計算領域引起了不小的轟動。 最近的產品在 MLPerf 基準測試中表現出出色的性能，展示了 NVIDIA 在雲和邊緣 AI 方面的實力。
具有意義的超級芯片
GH200 Superchip 並不是普通的芯片。 它將 Hopper GPU 與 Grace CPU 獨特地結合在一起，提供更高的內存、帶寬以及在 CPU 和 GPU 之間自動調整功率的能力，以實現最佳性能。 這種創新的集成讓芯片在功耗和性能之間實現微妙的平衡，確保人工智能應用程序在需要時獲得所需的資源。
出色的 MLPerf 結果
MLPerf 基準測試是一項受人尊敬的行業標準，NVIDIA 的 GH200 也沒有讓人失望。 該超級芯片不僅運行了所有數據中心推理測試，還展示了 NVIDIA AI 平台的多功能性，將其範圍從雲操作擴展到網絡邊緣。
此外，NVIDIA 的 H100 GPU 也不甘落後。 HGX H100 系統配備了 100 個 H100 GPU，在所有 MLPerf 推理測試中都展示了卓越的吞吐量。 這突顯了 HXNUMX GPU 的巨大潛力和功能，特別是對於計算機視覺、語音識別、醫學成像、推薦系統和大型語言模型 (LLM) 等任務。
TensorRT-LLM：增強推理性能
NVIDIA始終走在持續創新的前沿，TensorRT-LLM正是這項傳統的有力證明。這款生成式AI軟體能夠提升推理能力，並以開源函式庫的形式發布。儘管它未能及時提交給MLPerf參加8月份的評估，但其前景可期，使用戶能夠在無需額外成本的情況下提升H100 GPU的性能。 Meta、Cohere和Grammarly等合作夥伴已從NVIDIA在增強LLM推理能力方面所做的努力中受益，這再次印證了此類軟體開發在AI領域的重要性。
L4 GPU：橋接主流服務器和性能
在最新的 MLPerf 基準測試中，L4 GPU 在各種工作負載下都展現了令人矚目的效能。這些 GPU 在緊湊型加速器中運作時，其效能指標比功耗更高的 CPU 最高可提升六倍。專用媒體引擎的引入，以及與 CUDA 軟體的協同工作，賦予了 L4 GPU 顯著的優勢，尤其是在電腦視覺任務方面。
突破界限：邊緣計算等
這些進步不僅僅局限於雲計算。 NVIDIA 對邊緣計算的重視在 Jetson Orin 模塊系統中得到了體現，與之前的版本相比，其在對象檢測方面的性能提升了高達 84%。
MLPerf：透明的基準測試標準
MLPerf 仍然是全球用戶做出購買決策所依賴的客觀基準。 Microsoft Azure 和 Oracle Cloud Infrastructure 等雲服務巨頭，以及戴爾、聯想和 Supermicro 等知名系統製造商的加入，凸顯了 MLPerf 在行業中的重要性。
總之，NVIDIA 最近在 MLPerf 基準測試中的表現鞏固了其在 AI 領域的領導地位。 憑藉廣泛的生態系統、持續的軟件創新以及對提供高質量性能的承諾，NVIDIA 確實正在塑造人工智能的未來。
如需更深入了解 NVIDIA 的成就，請參閱連結的技術部落格。有興趣復現 NVIDIA 基準測試成功案例的使用者可以從MLPerf 程式碼庫和NVIDIA NGC 軟體中心取得相關軟體。
Amazon