En GTC en Tokio, NVIDIA anunció el lanzamiento de su nueva plataforma de centro de datos de IA, NVIDIA TensorRT Hyperscale Platform. Se afirma que esta nueva plataforma ofrece el acelerador de inferencia más avanzado para servicios de voz, video, imagen y recomendación. La plataforma aprovechará las nuevas GPU Tesla T4 de la compañía, así como un completo conjunto de nuevo software de inferencia.
Los centros de datos procesan todo tipo de consultas que ahora incluyen voz, traducciones, imágenes, videos y varias interacciones de redes sociales. Para abordar todos estos requisitos diferentes, que requerirán diferentes tipos de redes neuronales, las organizaciones deben aprovechar la IA. La nueva plataforma de hiperescala TensorRT de NVIDIA es una combinación de hardware y software destinada a abordar los problemas anteriores. Aprovechando las GPU Tesla T4, basadas en la arquitectura Turing de la empresa, la nueva plataforma podrá ofrecer un alto rendimiento con baja latencia para aplicaciones de extremo a extremo.
Los elementos clave incluyen:
- GPU NVIDIA Tesla T4: con 320 núcleos Turing Tensor y 2,560 núcleos CUDA, esta nueva GPU ofrece un rendimiento innovador con capacidades flexibles y de precisión múltiple, desde FP32 a FP16 a INT8, así como INT4. Empaquetado en un factor de forma PCIe pequeño de 75 vatios de bajo consumo que se adapta fácilmente a la mayoría de los servidores, ofrece 65 teraflops de rendimiento máximo para FP16, 130 teraflops para INT8 y 260 teraflops para INT4.
- NVIDIA TensorRT 5: optimizador de inferencia y motor de tiempo de ejecución, NVIDIA TensorRT 5 es compatible con Turing Tensor Cores y amplía el conjunto de optimizaciones de redes neuronales para cargas de trabajo de precisión múltiple.
- Servidor de inferencia NVIDIA TensorRT: este software de microservicio en contenedores permite que las aplicaciones utilicen modelos de IA en la producción del centro de datos. Disponible gratuitamente desde el registro de contenedores NVIDIA GPU Cloud, maximiza el rendimiento del centro de datos y la utilización de GPU, es compatible con todos los modelos y marcos de IA populares y se integra con Kubernetes y Docker.
Amazon