NVIDIA har tagit ett betydande steg inom AI-datorer genom att introducera NVIDIA HGX H200. Baserad på NVIDIA Hopper-arkitekturen har den här nya plattformen NVIDIA H200 Tensor Core GPU, skräddarsydd för generativ AI och högpresterande datoranvändning (HPC), som hanterar enorma datavolymer med avancerade minnesmöjligheter.
H200 framstår som den första grafikprocessorn som har ett minne med hög bandbredd (HBM3e) och erbjuder snabbare och större minne som är avgörande för generativa AI och stora språkmodeller (LLM) och avancerad vetenskaplig beräkning för HPC-arbetsbelastningar. Den har 141 GB minne med en hastighet av 4.8 terabyte per sekund, vilket nästan fördubblar kapaciteten och erbjuder 2.4 gånger mer bandbredd än sin föregångare, NVIDIA A100.
System som drivs av H200 från toppservertillverkare och molntjänstleverantörer förväntas börja levereras under andra kvartalet 2024. Ian Buck, NVIDIAs vicepresident för Hyperscale och HPC, betonar att H200 avsevärt kommer att förbättra behandlingen av stora datamängder vid höga hastigheter, vilket är viktigt för generativa AI- och HPC-tillämpningar.
Hopper-arkitekturen markerar en anmärkningsvärd prestandaförbättring jämfört med tidigare generationer, ytterligare förstärkt av pågående programuppdateringar som den senaste lanseringen av NVIDIA TensorRT-LLM . H200 lovar att nästan fördubbla inferenshastigheten på stora språkmodeller som Llama 2, med fler prestandaförbättringar förväntade i framtida programuppdateringar.
H200 Specifikationer
| NVIDIA H200 Tensor Core GPU | |
|---|---|
| Formfaktor | H200 SXM |
| FP64 | 34 TFLOPS |
| FP64 Tensor Core | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| TF32 Tensor Core | 989 TFLOPS |
| BFLOAT16 Tensor Core | 1,979 TFLOPS |
| FP16 Tensor Core | 1,979 TFLOPS |
| FP8 Tensor Core | 3,958 TFLOPS |
| INT8 Tensor Core | 3,958 TFLOPS |
| GPU-minne | 141GB |
| GPU-minnes bandbredd | 4.8 TB/s |
| dekodrar | 7 NVDEC 7 JPEG |
| Max Thermal Design Power (TDP) | Upp till 700W (konfigurerbar) |
| Multi-instans GPU:er | Upp till 7 MIG @16.5 GB vardera |
| Interconnect | NVIDIA NVLink: 900 GB/s PCIe Gen5: 128 GB/s |
| Serveralternativ | NVIDIA HGX H200-partner och NVIDIA-certifierade system med 4 eller 8 GPU:er |
Anpassningsbara formfaktorer
NVIDIA H200 kommer att finnas tillgängligt i olika format, inklusive NVIDIA HGX H200-serverkort i fyr- och åttavägskonfigurationer, kompatibla med HGX H100-system. Det finns också tillgängligt i NVIDIA GH200 Grace Hopper Superchip med HBM3e . Vi publicerade nyligen en artikel om NVIDIA GH200 Grace Hopper Supperchip . Dessa alternativ säkerställer H200:s anpassningsförmåga över olika datacentertyper, inklusive lokala miljöer, molnmiljöer, hybridmolnmiljöer och edge-miljöer.
Nyckelservertillverkare och molntjänstleverantörer, inklusive Amazon Web Services, Google Cloud, Microsoft Azure och Oracle Cloud Infrastructure, kommer att distribuera H200-baserade instanser från och med nästa år.
HGX H200, utrustad med NVIDIA NVLink och NVSwitch höghastighetsanslutningar, levererar toppprestanda för olika arbetsbelastningar, inklusive utbildning och slutledning för modeller över 175 miljarder parametrar. En åttavägs HGX H200-konfiguration ger över 32 petaflops FP8 djupinlärning och 1.1 TB minne med hög bandbredd, idealiskt för generativa AI- och HPC-applikationer kombinerat med NVIDIA Grace-processorer och NVLink-C2C-interconnect, H200 bildar GH200 Grace Hopper Superchip med HBM3e, en modul designad för storskaliga HPC- och AI-tillämpningar.
NVIDIAs kompletta programvarusupport, inklusive NVIDIA AI Enterprise-sviten , gör det möjligt för utvecklare och företag att bygga och accelerera AI till HPC-applikationer. NVIDIA H200 kommer att finnas tillgänglig från globala systemtillverkare och molntjänstleverantörer från och med andra kvartalet 2024, vilket markerar en ny era inom AI- och HPC-funktioner.
Amazon