NVIDIA 透過推出 NVIDIA HGX H200，在人工智慧運算領域取得了重大飛躍。 該新平台基於 NVIDIA Hopper 架構，配備 NVIDIA H200 Tensor Core GPU，專為生成式 AI 和高效能運算 (HPC) 工作負載而定制，可透過先進的記憶體功能處理大量資料。
H200 是首款採用高頻寬 (HBM3e ) 內存的 GPU，脫穎而出，提供更快、更大的內存，這對於生成 AI 和大型語言模型 (LLM) 以及推進 HPC 工作負載的科學計算至關重要。 它擁有 141GB 內存，速度為每秒 4.8 TB，與前身 NVIDIA A2.4 相比，容量幾乎增加了一倍，頻寬增加了 100 倍。
頂級伺服器製造商和雲端服務供應商採用 H200 的系統預計將於 2024 年第二季開始出貨。NVIDIA 超大規模和 HPC 副總裁 Ian Buck 強調，H200 將顯著增強高速海量資料的處理能力。速度，這對於生成式人工智慧和高效能運算應用程式至關重要。
Hopper架構相比前幾代產品效能顯著提升，並透過持續的軟體更新（例如最近發布的NVIDIA TensorRT-LLM）進一步增強。 H200預計將大型語言模型（例如Llama 2）的推理速度提升近一倍，預計未來的軟體更新將帶來更多效能提升。
H200規格
| NVIDIA H200 張量核心 GPU | |
|---|---|
| 外形 | H200SXM |
| FP64 | 34 TFLOPS |
| FP64 張量核心 | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| TF32 張量核心 | 989 TFLOPS |
| BFLOAT16 張量核心 | 1,979 TFLOPS |
| FP16 張量核心 | 1,979 TFLOPS |
| FP8 張量核心 | 3,958 TFLOPS |
| INT8 張量核心 | 3,958 TFLOPS |
| GPU內存 | 141GB |
| GPU內存帶寬 | 4.8TB/秒 |
| 解碼器 | 7 NVDEC 7 格式 |
| 最大熱設計功率 (TDP) | 高達 700W（可設定） |
| 多實例 GPU | 最多 7 個 MIG，每個 @16.5GB |
| 互連線 | NVIDIA NVLink：900GB/秒 PCIe Gen5：128GB/秒 |
| 服務器選項 | NVIDIA HGX H200 合作夥伴和具有 4 或 8 個 GPU 的 NVIDIA 認證系統 |
適應性強的外形尺寸
NVIDIA H200 將提供多種外形尺寸，包括四路和八路配置的 NVIDIA HGX H200 伺服器主機板，相容於 HGX H100 系統。此外，它也可用於搭載HBM3e 記憶體的 NVIDIA GH200 Grace Hopper 超級晶片。我們最近發布了一篇關於NVIDIA GH200 Grace Hopper 超級晶片的文章。這些選項確保了 H200 能夠適應各種資料中心類型，包括本地部署、雲端、混合雲和邊緣環境。
主要伺服器製造商和雲端服務供應商，包括亞馬遜網路服務、Google雲端、微軟Azure和甲骨文雲端基礎設施，將從明年開始部署基於H200的實例。
HGX H200 配備 NVIDIA NVLink 和 NVSwitch 高速互連，可為各種工作負載提供頂級效能，包括超過 175 億個參數的模型的訓練和推理。 八路 HGX H200 配置提供超過 32 petaflops 的 FP8 深度學習計算和 1.1TB 高頻寬內存，非常適合生成式 AI 和 HPC 應用，與 NVIDIA Grace CPU 和 NVLink-C2C 互連相結合，H200 結合了 GH200 Grace Hopper Superchip HBM3e，這是一款專為大規模HPC 和AI 應用而設計的模組。
NVIDIA 的全端軟體支持，包括NVIDIA AI 企業套件，使開發人員和企業能夠建置並加速 AI 與 HPC 的應用。 NVIDIA H200 將於 2024 年第二季起透過全球系統製造商和雲端服務供應商發售，標誌著 AI 和 HPC 能力的新紀元。
Amazon