NVIDIA는 NVIDIA HGX H200을 출시하여 AI 컴퓨팅 분야에서 큰 도약을 이루었습니다. NVIDIA Hopper 아키텍처를 기반으로 하는 이 새로운 플랫폼은 생성 AI 및 고성능 컴퓨팅(HPC) 워크로드에 맞게 맞춤화된 NVIDIA H200 Tensor Core GPU를 갖추고 있으며 고급 메모리 기능으로 대규모 데이터 볼륨을 처리합니다.
H200은 고대역폭(HBM3e) 메모리를 통합한 최초의 GPU로, 생성 AI 및 대규모 언어 모델(LLM)에 중요한 더 빠르고 더 큰 메모리를 제공하고 HPC 워크로드를 위한 첨단 과학 컴퓨팅을 제공합니다. 초당 141테라바이트의 속도로 4.8GB 메모리를 탑재해 이전 제품인 엔비디아 A2.4에 비해 용량은 거의 두 배, 대역폭은 100배 더 늘어났다.
최고의 서버 제조업체와 클라우드 서비스 제공업체의 H200 기반 시스템은 2024년 200분기에 출시될 예정입니다. NVIDIA의 하이퍼스케일 및 HPC 부사장인 Ian Buck은 HXNUMX이 대용량 데이터 처리 능력을 크게 향상시킬 것이라고 강조합니다. 이는 생성적 AI 및 HPC 애플리케이션에 필수적인 속도입니다.
Hopper 아키텍처는 이전 세대 대비 성능이 크게 향상되었으며, 최근 NVIDIA TensorRT-LLM 출시와 같은 지속적인 소프트웨어 업데이트를 통해 더욱 강화되었습니다 . H200은 Llama 2와 같은 대규모 언어 모델에서 추론 속도를 거의 두 배로 높여주며, 향후 소프트웨어 업데이트를 통해 더 많은 성능 향상이 기대됩니다.
H200 사양
| NVIDIA H200 텐서 코어 GPU | |
|---|---|
| 폼 팩터 | H200 SXM |
| FP64 | 34 TFLOPS |
| FP64 텐서 코어 | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| TF32 텐서 코어 | 989 TFLOPS |
| BFLOAT16 텐서 코어 | 1,979 TFLOPS |
| FP16 텐서 코어 | 1,979 TFLOPS |
| FP8 텐서 코어 | 3,958 TFLOPS |
| INT8 텐서 코어 | 3,958 TFLOPS |
| GPU 메모리 | 141GB |
| GPU 메모리 대역폭 | 4.8TB/초 |
| 디코더 | 7 NVDEC 7JPEG |
| 최대 열 설계 전력(TDP) | 최대 700W(구성 가능) |
| 다중 인스턴스 GPU | 각각 7GB에서 최대 16.5개의 MIG |
| 상호 연결 | 엔비디아 NV링크: 900GB/s PCIe Gen5: 128GB/s |
| 서버 옵션 | NVIDIA HGX H200 파트너 및 4개 또는 8개의 GPU를 갖춘 NVIDIA 인증 시스템 |
적응형 폼 팩터
NVIDIA H200은 다양한 폼팩터로 제공될 예정이며, HGX H100 시스템과 호환되는 4스레드 및 8스레드 구성의 NVIDIA HGX H200 서버 보드도 포함됩니다. 또한 HBM3e를 탑재한 NVIDIA GH200 Grace Hopper Superchip 도 제공됩니다. 최근 NVIDIA GH200 Grace Hopper Superchip에 대한 기사를 게시한 바 있습니다 . 이러한 옵션을 통해 H200은 온프레미스, 클라우드, 하이브리드 클라우드, 엣지 환경을 포함한 다양한 데이터 센터 유형에 적응할 수 있습니다.
아마존 웹 서비스(Amazon Web Services), 구글 클라우드(Google Cloud), 마이크로소프트 애저(Microsoft Azure), 오라클 클라우드 인프라(Oracle Cloud Infrastructure) 등 주요 서버 제조사와 클라우드 서비스 제공업체는 내년부터 H200 기반 인스턴스를 구축할 예정이다.
NVIDIA NVLink 및 NVSwitch 고속 상호 연결이 탑재된 HGX H200은 175억 매개변수가 넘는 모델에 대한 훈련 및 추론을 포함하여 다양한 워크로드에 최고의 성능을 제공합니다. 200방향 HGX H32 구성은 8페타플롭 이상의 FP1.1 딥 러닝 컴퓨팅과 2TB의 고대역폭 메모리를 제공하며, NVIDIA Grace CPU 및 NVLink-C200C 상호 연결과 결합된 생성 AI 및 HPC 애플리케이션에 이상적입니다. H200은 GH3 Grace를 구성합니다. 대규모 HPC 및 AI 애플리케이션용으로 설계된 모듈인 HBMXNUMXe가 포함된 Hopper Superchip.
NVIDIA의 풀 스택 소프트웨어 지원( NVIDIA AI Enterprise 제품군 포함 )을 통해 개발자와 기업은 AI 기반 HPC 애플리케이션을 구축하고 가속화할 수 있습니다. NVIDIA H200은 2024년 2분기부터 전 세계 시스템 제조업체와 클라우드 서비스 제공업체를 통해 출시될 예정이며, AI 및 HPC 기능에 새로운 시대를 열어갈 것입니다.
아마존