NVIDIA 宣布了多项新技术和合作伙伴关系，包括新版本的 TensorRT 推理软件、将 TensorRT 集成到谷歌的 TensorFlow 框架中，以及其语音识别软件 Kaldi 现在针对 GPU 进行了优化。
VIDIA 的 TensorRT4 软件通过准确的 INT8 和 FP16 网络执行加速各种应用程序的深度学习推理，表明它将数据中心成本降低高达 70%。 TensorRT4 还可用于在超大规模数据中心、嵌入式和汽车 GPU 平台中快速优化、验证和部署经过训练的神经网络。 NVIDIA 还声称，与用于普通应用程序的 CPU 相比，新软件在深度学习推理方面的速度提高了 190 倍以上。 此外，NVIDIA 和谷歌的工程师已经将 TensorRT 集成到 TensorFlow 1.7 中，使得在 GPU 上运行深度学习推理应用变得更加容易。
NVIDIA 对 Kaldi 进行了优化，以实现在 GPU 上运行的更快性能，这将为消费者带来更准确、更有用的虚拟助手，并降低数据中心运营商的部署成本。
进一步的合作伙伴公告包括：
- AI 支持 Windows 10 应用程序，因为 NVIDIA 与这家 IT 巨头合作构建 GPU 加速工具，以便开发人员在 Windows 应用程序中整合更多智能功能。
- Kubernetes 的 GPU 加速，以促进多云 GPU 集群上的企业推理部署。
- MathWorks 今天宣布将 TensorRT 与其旗舰软件 MATLAB 集成。 NVIDIA 表示，工程师和科学家现在可以从 MATLAB 为 Jetson、NVIDIA Drive 和 Tesla 平台自动生成高性能推理引擎。
接下来，NVIDIA 指定 TensorRT 可以部署在 NVIDIA DRIVE 自动驾驶汽车和 NVIDIA Jetson 嵌入式平台上，而深度神经网络可以在每个框架的数据中心的 NVIDIA DGX 系统上进行训练，然后部署到所有类型的技术中进行实时推理。边缘。
TensorRT 将允许开发人员专注于创建新颖的深度学习驱动，而不是为推理部署进行性能调整。 NVIDIA 补充说，开发人员可以利用 TensorRT 通过 INTS 或 FP16 精度提供极快的推理。 这将减少延迟，进而提高嵌入式和汽车平台上的物体检测和路径规划等功能。
Amazon