NVIDIA 通过推出 NVIDIA HGX H200，在人工智能计算领域取得了重大飞跃。 该新平台基于 NVIDIA Hopper 架构，配备 NVIDIA H200 Tensor Core GPU，专为生成式 AI 和高性能计算 (HPC) 工作负载而定制，可通过先进的内存功能处理海量数据。
H200 是首款采用高带宽 (HBM3e ) 内存的 GPU，脱颖而出，提供更快、更大的内存，这对于生成 AI 和大型语言模型 (LLM) 以及推进 HPC 工作负载的科学计算至关重要。 它拥有 141GB 内存，速度为每秒 4.8 TB，与前身 NVIDIA A2.4 相比，容量几乎增加了一倍，带宽增加了 100 倍。
顶级服务器制造商和云服务提供商采用 H200 的系统预计将于 2024 年第二季度开始发货。 NVIDIA 超大规模和 HPC 副总裁 Ian Buck 强调，H200 将显着增强高速海量数据的处理能力。速度，这对于生成式人工智能和高性能计算应用程序至关重要。
Hopper架构相比前几代产品性能显著提升，并通过持续的软件更新（例如最近发布的NVIDIA TensorRT-LLM）进一步增强。H200有望将大型语言模型（例如Llama 2）的推理速度提升近一倍，预计未来的软件更新还将带来更多性能提升。
H200规格
| NVIDIA H200 张量核心 GPU | |
|---|---|
| 外形 | H200SXM |
| FP64 | 34 TFLOPS |
| FP64 张量核心 | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| TF32 张量核心 | 989 TFLOPS |
| BFLOAT16 张量核心 | 1,979 TFLOPS |
| FP16 张量核心 | 1,979 TFLOPS |
| FP8 张量核心 | 3,958 TFLOPS |
| INT8 张量核心 | 3,958 TFLOPS |
| GPU内存 | 141GB |
| GPU内存带宽 | 4.8TB/秒 |
| 解码器 | 7 NVDEC 7 格式 |
| 最大热设计功率 (TDP) | 高达 700W（可配置） |
| 多实例 GPU | 最多 7 个 MIG，每个 @16.5GB |
| 互联 | NVIDIA NVLink：900GB/秒 PCIe Gen5：128GB/秒 |
| 服务器选项 | NVIDIA HGX H200 合作伙伴和具有 4 或 8 个 GPU 的 NVIDIA 认证系统 |
适应性强的外形尺寸
NVIDIA H200 将提供多种外形尺寸，包括四路和八路配置的 NVIDIA HGX H200 服务器主板，兼容 HGX H100 系统。此外，它还可用于搭载HBM3e 显存的 NVIDIA GH200 Grace Hopper 超级芯片。我们最近发布了一篇关于NVIDIA GH200 Grace Hopper 超级芯片的文章。这些选项确保了 H200 能够适应各种数据中心类型，包括本地部署、云端、混合云和边缘环境。
主要服务器制造商和云服务提供商，包括亚马逊网络服务、谷歌云、微软Azure和甲骨文云基础设施，将从明年开始部署基于H200的实例。
HGX H200 配备 NVIDIA NVLink 和 NVSwitch 高速互连，可为各种工作负载提供顶级性能，包括超过 175 亿个参数的模型的训练和推理。 八路 HGX H200 配置提供超过 32 petaflops 的 FP8 深度学习计算和 1.1TB 高带宽内存，非常适合生成式 AI 和 HPC 应用，与 NVIDIA Grace CPU 和 NVLink-C2C 互连相结合，H200 形成了 GH200 Grace Hopper Superchip 配备 HBM3e，这是一款专为大规模 HPC 和 AI 应用而设计的模块。
NVIDIA 的全栈软件支持，包括NVIDIA AI 企业套件，使开发人员和企业能够构建并加速 AI 与 HPC 的应用。NVIDIA H200 将于 2024 年第二季度起通过全球系统制造商和云服务提供商发售，标志着 AI 和 HPC 能力的新纪元。
Amazon