NVIDIA는 NVIDIA HGX H200을 출시하여 AI 컴퓨팅 분야에서 큰 도약을 이루었습니다. NVIDIA Hopper 아키텍처를 기반으로 하는 이 새로운 플랫폼은 생성 AI 및 고성능 컴퓨팅(HPC) 워크로드에 맞게 맞춤화된 NVIDIA H200 Tensor Core GPU를 갖추고 있으며 고급 메모리 기능으로 대규모 데이터 볼륨을 처리합니다.
NVIDIA는 NVIDIA HGX H200을 출시하여 AI 컴퓨팅 분야에서 큰 도약을 이루었습니다. NVIDIA Hopper 아키텍처를 기반으로 하는 이 새로운 플랫폼은 생성 AI 및 고성능 컴퓨팅(HPC) 워크로드에 맞게 맞춤화된 NVIDIA H200 Tensor Core GPU를 갖추고 있으며 고급 메모리 기능으로 대규모 데이터 볼륨을 처리합니다.
H200은 고대역폭(HBM3e) 메모리를 통합한 최초의 GPU로, 생성 AI 및 대규모 언어 모델(LLM)에 중요한 더 빠르고 더 큰 메모리를 제공하고 HPC 워크로드를 위한 첨단 과학 컴퓨팅을 제공합니다. 초당 141테라바이트의 속도로 4.8GB 메모리를 탑재해 이전 제품인 엔비디아 A2.4에 비해 용량은 거의 두 배, 대역폭은 100배 더 늘어났다.
최고의 서버 제조업체와 클라우드 서비스 제공업체의 H200 기반 시스템은 2024년 200분기에 출시될 예정입니다. NVIDIA의 하이퍼스케일 및 HPC 부사장인 Ian Buck은 HXNUMX이 대용량 데이터 처리 능력을 크게 향상시킬 것이라고 강조합니다. 이는 생성적 AI 및 HPC 애플리케이션에 필수적인 속도입니다.
Hopper 아키텍처는 이전 세대에 비해 눈에 띄게 성능이 향상되었으며 최근 릴리스와 같은 지속적인 소프트웨어 업데이트를 통해 더욱 향상되었습니다. 엔비디아 텐서RT-LLM. H200은 Llama 2와 같은 대규모 언어 모델에서 거의 두 배의 추론 속도를 약속하며 향후 소프트웨어 업데이트에서는 더 많은 성능 향상이 예상됩니다.
H200 사양
| NVIDIA H200 텐서 코어 GPU | |
|---|---|
| 폼 팩터 | H200 SXM |
| FP64 | 34 TFLOPS |
| FP64 텐서 코어 | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| TF32 텐서 코어 | 989 TFLOPS |
| BFLOAT16 텐서 코어 | 1,979 TFLOPS |
| FP16 텐서 코어 | 1,979 TFLOPS |
| FP8 텐서 코어 | 3,958 TFLOPS |
| INT8 텐서 코어 | 3,958 TFLOPS |
| GPU 메모리 | 141GB |
| GPU 메모리 대역폭 | 4.8TB/초 |
| 디코더 | 7 NVDEC 7JPEG |
| 최대 열 설계 전력(TDP) | 최대 700W(구성 가능) |
| 다중 인스턴스 GPU | 각각 7GB에서 최대 16.5개의 MIG |
| 상호 연결 | 엔비디아 NV링크: 900GB/s PCIe Gen5: 128GB/s |
| 서버 옵션 | NVIDIA HGX H200 파트너 및 4개 또는 8개의 GPU를 갖춘 NVIDIA 인증 시스템 |
적응형 폼 팩터
NVIDIA H200은 HGX H200 시스템과 호환되는 100방향 및 XNUMX방향 구성의 NVIDIA HGX HXNUMX 서버 보드를 포함하여 다양한 폼 팩터로 제공됩니다. 다음에서도 이용 가능합니다. HBM200e를 탑재한 NVIDIA GH3 Grace Hopper 슈퍼칩. 우리는 최근에 한 편의 글을 게시했습니다. NVIDIA GH200 그레이스 호퍼 서퍼칩. 이러한 옵션은 온프레미스, 클라우드, 하이브리드 클라우드 및 엣지 환경을 포함한 다양한 데이터 센터 유형에 걸쳐 H200의 적응성을 보장합니다.
아마존 웹 서비스(Amazon Web Services), 구글 클라우드(Google Cloud), 마이크로소프트 애저(Microsoft Azure), 오라클 클라우드 인프라(Oracle Cloud Infrastructure) 등 주요 서버 제조사와 클라우드 서비스 제공업체는 내년부터 H200 기반 인스턴스를 구축할 예정이다.
NVIDIA NVLink 및 NVSwitch 고속 상호 연결이 탑재된 HGX H200은 175억 매개변수가 넘는 모델에 대한 훈련 및 추론을 포함하여 다양한 워크로드에 최고의 성능을 제공합니다. 200방향 HGX H32 구성은 8페타플롭 이상의 FP1.1 딥 러닝 컴퓨팅과 2TB의 고대역폭 메모리를 제공하며, NVIDIA Grace CPU 및 NVLink-C200C 상호 연결과 결합된 생성 AI 및 HPC 애플리케이션에 이상적입니다. H200은 GH3 Grace를 구성합니다. 대규모 HPC 및 AI 애플리케이션용으로 설계된 모듈인 HBMXNUMXe가 포함된 Hopper Superchip.
다음을 포함한 NVIDIA의 풀스택 소프트웨어 지원 NVIDIA AI 엔터프라이즈 제품군를 통해 개발자와 기업은 AI를 HPC 애플리케이션에 구축하고 가속화할 수 있습니다. NVIDIA H200은 2024년 XNUMX분기부터 글로벌 시스템 제조업체와 클라우드 서비스 제공업체를 통해 출시될 예정이며 AI 및 HPC 기능의 새로운 시대를 열었습니다.
StorageReview에 참여
뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드
