在东京的 GTC 上，NVIDIA 宣布推出其全新的 AI 数据中心平台，即 NVIDIA TensorRT Hyperscale Platform。 这个新平台被称为为语音、视频、图像和推荐服务提供最先进的推理加速器。 该平台将利用该公司的新 Tesla T4 GPU 以及一套全面的新推理软件。
数据中心现在处理所有类型的查询，包括语音、翻译、图像、视频和各种社交媒体交互。 为了解决所有这些不同的需求——这将需要不同类型的神经网络——组织需要利用人工智能。 NVIDIA 全新的 TensorRT Hyperscale Platform 是硬件和软件的结合，旨在解决上述问题。 利用基于公司图灵架构的 Tesla T4 GPU，新平台将能够为端到端应用程序提供高性能和低延迟。
关键要素包括：
- NVIDIA Tesla T4 GPU – 这款新 GPU 具有 320 个 Turing Tensor 核心和 2,560 个 CUDA 核心，提供突破性的性能和灵活的多精度功能，从 FP32 到 FP16 再到 INT8，以及 INT4。 它采用节能、75 瓦、小型 PCIe 外形，可轻松装入大多数服务器，它为 FP65 提供 16 teraflops 的峰值性能，为 INT130 提供 8 teraflops，为 INT260 提供 4 teraflops。
- NVIDIA TensorRT 5 – NVIDIA TensorRT 5 是一种推理优化器和运行时引擎，支持 Turing Tensor Core 并扩展了针对多精度工作负载的神经网络优化集。
- NVIDIA TensorRT 推理服务器——这种容器化的微服务软件使应用程序能够在数据中心生产中使用人工智能模型。 它可从 NVIDIA GPU Cloud 容器注册表免费获得，可最大限度地提高数据中心吞吐量和 GPU 利用率，支持所有流行的 AI 模型和框架，并与 Kubernetes 和 Docker 集成。
Amazon