A NVIDIA deu um salto significativo na computação de IA ao apresentar o NVIDIA HGX H200. Baseada na arquitetura NVIDIA Hopper, esta nova plataforma apresenta a GPU NVIDIA H200 Tensor Core, adaptada para IA generativa e cargas de trabalho de computação de alto desempenho (HPC), lidando com grandes volumes de dados com recursos avançados de memória.
O H200 se destaca como a primeira GPU a incorporar memória de alta largura de banda (HBM3e), oferecendo memória maior e mais rápida, crucial para IA generativa e modelos de linguagem grande (LLMs) e para o avanço da computação científica para cargas de trabalho de HPC. Possui 141 GB de memória a uma velocidade de 4.8 terabytes por segundo, quase dobrando a capacidade e oferecendo 2.4 vezes mais largura de banda do que seu antecessor, o NVIDIA A100.
Espera-se que os sistemas equipados com H200 dos principais fabricantes de servidores e provedores de serviços em nuvem comecem a ser comercializados no segundo trimestre de 2024. Ian Buck, vice-presidente de hiperescala e HPC da NVIDIA, enfatiza que o H200 melhorará significativamente o processamento de grandes quantidades de dados em alta velocidades, o que é essencial para aplicações generativas de IA e HPC.
A arquitetura Hopper representa uma melhoria de desempenho notável em relação às gerações anteriores, ainda mais aprimorada por atualizações de software contínuas, como o recente lançamento do NVIDIA TensorRT-LLM . O H200 promete quase dobrar a velocidade de inferência em grandes modelos de linguagem como o Llama 2, com mais melhorias de desempenho previstas em futuras atualizações de software.
Especificações do H200
| GPU Nvidia H200 Tensor Core | |
|---|---|
| Fator de Forma | H200SXM |
| FP64 | 34 TFLOPS |
| Núcleo Tensor FP64 | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| Núcleo tensor TF32 | 989 TFLOPS |
| Núcleo tensor BFLOAT16 | 1,979 TFLOPS |
| Núcleo Tensor FP16 | 1,979 TFLOPS |
| Núcleo Tensor FP8 | 3,958 TFLOPS |
| Núcleo tensor INT8 | 3,958 TFLOPS |
| Memória GPU | 141GB |
| Largura de banda da memória da GPU | 4.8 TB / s |
| Decodificadores | 7 NVDEC 7 JPEG.webp |
| Potência térmica máxima de projeto (TDP) | Até 700W (configurável) |
| GPUs de várias instâncias | Até 7 MIGs com 16.5 GB cada |
| Interconexão | NVIDIA NVLink: 900 GB/s PCIe Gen5: 128 GB/s |
| Opções do servidor | Parceiro NVIDIA HGX H200 e sistemas certificados pela NVIDIA com 4 ou 8 GPUs |
Fatores de forma adaptáveis
A arquitetura NVIDIA H200 estará disponível em diversos formatos, incluindo placas de servidor NVIDIA HGX H200 em configurações de quatro e oito vias, compatíveis com sistemas HGX H100. Também estará disponível no superchip NVIDIA GH200 Grace Hopper com HBM3e . Recentemente, publicamos um artigo sobre o superchip NVIDIA GH200 Grace Hopper . Essas opções garantem a adaptabilidade da H200 a diferentes tipos de data centers, incluindo ambientes locais, em nuvem, híbridos e de borda.
Os principais fabricantes de servidores e provedores de serviços em nuvem, incluindo Amazon Web Services, Google Cloud, Microsoft Azure e Oracle Cloud Infrastructure, estão prontos para implantar instâncias baseadas em H200 a partir do próximo ano.
O HGX H200, equipado com interconexões de alta velocidade NVIDIA NVLink e NVSwitch, oferece desempenho superior para diversas cargas de trabalho, incluindo treinamento e inferência para modelos com mais de 175 bilhões de parâmetros. Uma configuração HGX H200 de oito vias fornece mais de 32 petaflops de computação de aprendizagem profunda FP8 e 1.1 TB de memória de alta largura de banda, ideal para aplicações generativas de IA e HPC combinadas com CPUs NVIDIA Grace e a interconexão NVLink-C2C, o H200 forma o GH200 Grace Hopper Superchip com HBM3e, um módulo projetado para aplicações de HPC e IA em grande escala.
O suporte completo de software da NVIDIA, incluindo o pacote NVIDIA AI Enterprise , permite que desenvolvedores e empresas criem e acelerem aplicações de IA para HPC. A NVIDIA H200 estará disponível em fabricantes de sistemas e provedores de serviços em nuvem em todo o mundo a partir do segundo trimestre de 2024, marcando uma nova era em recursos de IA e HPC.
Amazon