NVIDIA ha dado un salto significativo en la informática de IA al presentar la NVIDIA HGX H200. Basada en la arquitectura NVIDIA Hopper, esta nueva plataforma cuenta con la GPU NVIDIA H200 Tensor Core, diseñada para cargas de trabajo de IA generativa y computación de alto rendimiento (HPC), que maneja volúmenes masivos de datos con capacidades de memoria avanzadas.
NVIDIA ha dado un salto significativo en la informática de IA al presentar la NVIDIA HGX H200. Basada en la arquitectura NVIDIA Hopper, esta nueva plataforma cuenta con la GPU NVIDIA H200 Tensor Core, diseñada para cargas de trabajo de IA generativa y computación de alto rendimiento (HPC), que maneja volúmenes masivos de datos con capacidades de memoria avanzadas.
El H200 se destaca como la primera GPU que incorpora memoria de alto ancho de banda (HBM3e), ofreciendo una memoria más rápida y más grande, crucial para la IA generativa y los modelos de lenguaje grande (LLM) y el avance de la informática científica para cargas de trabajo HPC. Cuenta con 141 GB de memoria a una velocidad de 4.8 terabytes por segundo, casi duplicando la capacidad y ofreciendo 2.4 veces más ancho de banda que su predecesora, la NVIDIA A100.
Se espera que los sistemas impulsados por H200 de los principales fabricantes de servidores y proveedores de servicios en la nube comiencen a distribuirse en el segundo trimestre de 2024. Ian Buck, vicepresidente de Hiperescala y HPC de NVIDIA, enfatiza que el H200 mejorará significativamente el procesamiento de grandes cantidades de datos a alta velocidad. velocidades, lo cual es esencial para aplicaciones de IA generativa y HPC.
La arquitectura Hopper marca una notable mejora de rendimiento con respecto a generaciones anteriores, mejorada aún más por actualizaciones de software continuas como el reciente lanzamiento de NVIDIA TensorRT-LLM. El H200 promete casi duplicar la velocidad de inferencia en modelos de lenguajes grandes como Llama 2, y se anticipan más mejoras de rendimiento en futuras actualizaciones de software.
Especificaciones H200
| GPU NVIDIA H200 Tensor Core | |
|---|---|
| Factor de forma | H200 SXM |
| FP64 | 34 TFLOPS |
| Núcleo tensor FP64 | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| Núcleo tensor TF32 | 989 TFLOPS |
| Núcleo tensor BFLOAT16 | 1,979 TFLOPS |
| Núcleo tensor FP16 | 1,979 TFLOPS |
| Núcleo tensor FP8 | 3,958 TFLOPS |
| Núcleo tensor INT8 | 3,958 TFLOPS |
| Memoria de la GPU | 141GB |
| Ancho de banda de memoria GPU | 4.8 TB / s |
| Decodificadores | 7 NVDEC 7 JPG |
| Potencia máxima de diseño térmico (TDP) | Hasta 700W (configurable) |
| GPU de múltiples instancias | Hasta 7 MIG de 16.5 GB cada uno |
| interconexión | NVIDIA NVLink: 900 GB/s PCIe Gen5: 128 GB/s |
| Opciones de servidor | Socio de NVIDIA HGX H200 y sistemas certificados por NVIDIA con 4 u 8 GPU |
Factores de forma adaptables
NVIDIA H200 estará disponible en varios factores de forma, incluidas las placas de servidor NVIDIA HGX H200 en configuraciones de cuatro y ocho vías, compatibles con los sistemas HGX H100. También está disponible en el Superchip NVIDIA GH200 Grace Hopper con HBM3e. Recientemente publicamos un artículo en el Superchip NVIDIA GH200 Grace Hopper. Estas opciones garantizan la adaptabilidad de H200 en diferentes tipos de centros de datos, incluidos entornos locales, de nube, de nube híbrida y de borde.
Los principales fabricantes de servidores y proveedores de servicios en la nube, incluidos Amazon Web Services, Google Cloud, Microsoft Azure y Oracle Cloud Infrastructure, implementarán instancias basadas en H200 a partir del próximo año.
El HGX H200, equipado con interconexiones de alta velocidad NVIDIA NVLink y NVSwitch, ofrece el máximo rendimiento para diversas cargas de trabajo, incluido el entrenamiento y la inferencia para modelos con más de 175 mil millones de parámetros. Una configuración HGX H200 de ocho vías proporciona más de 32 petaflops de computación de aprendizaje profundo FP8 y 1.1 TB de memoria de gran ancho de banda, ideal para aplicaciones de IA generativa y HPC combinadas con las CPU NVIDIA Grace y la interconexión NVLink-C2C, el H200 forma el GH200 Grace. Hopper Superchip con HBM3e, un módulo diseñado para aplicaciones de IA y HPC a gran escala.
El soporte de software completo de NVIDIA, incluido el Suite empresarial de IA de NVIDIA, permite a los desarrolladores y empresas crear y acelerar aplicaciones de IA a HPC. NVIDIA H200 estará disponible a través de fabricantes de sistemas globales y proveedores de servicios en la nube a partir del segundo trimestre de 2024, lo que marcará una nueva era en las capacidades de IA y HPC.
Interactuar con StorageReview
Boletín | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
