在東京的 GTC 上，NVIDIA 宣布推出其全新的 AI 數據中心平台，即 NVIDIA TensorRT Hyperscale Platform。 這個新平台被稱為為語音、視頻、圖像和推薦服務提供最先進的推理加速器。 該平台將利用該公司的新 Tesla T4 GPU 以及一套全面的新推理軟件。
數據中心現在處理所有類型的查詢，包括語音、翻譯、圖像、視頻和各種社交媒體交互。 為了解決所有這些不同的需求——這將需要不同類型的神經網絡——組織需要利用人工智能。 NVIDIA 全新的 TensorRT Hyperscale Platform 是硬件和軟件的結合，旨在解決上述問題。 利用基於公司圖靈架構的 Tesla T4 GPU，新平台將能夠為端到端應用程序提供高性能和低延遲。
關鍵要素包括：
- NVIDIA Tesla T4 GPU – 這款新 GPU 具有 320 個 Turing Tensor 核心和 2,560 個 CUDA 核心，提供突破性的性能和靈活的多精度功能，從 FP32 到 FP16 再到 INT8，以及 INT4。 它採用節能、75 瓦、小型 PCIe 外形，可輕鬆裝入大多數服務器，它為 FP65 提供 16 teraflops 的峰值性能，為 INT130 提供 8 teraflops，為 INT260 提供 4 teraflops。
- NVIDIA TensorRT 5 – NVIDIA TensorRT 5 是一種推理優化器和運行時引擎，支持 Turing Tensor Core 並擴展了針對多精度工作負載的神經網絡優化集。
- NVIDIA TensorRT 推理服務器——這種容器化的微服務軟件使應用程序能夠在數據中心生產中使用人工智能模型。 它可從 NVIDIA GPU Cloud 容器註冊表免費獲得，可最大限度地提高數據中心吞吐量和 GPU 利用率，支持所有流行的 AI 模型和框架，並與 Kubernetes 和 Docker 集成。
Amazon