A NVIDIA anunciou várias novas tecnologias e parcerias, incluindo uma nova versão de seu software de inferência TensorRT, a integração do TensorRT na estrutura TensorFlow do Google e que seu software de reconhecimento de voz, Kaldi, agora está otimizado para GPUs.
O software TensorRT4 da VIDIA acelera a inferência de aprendizado profundo em uma variedade de aplicativos com execução de rede INT8 e FP16 precisa, indicando que reduzirá os custos do datacenter em até 70%. O TensorRT4 também pode ser usado para otimizar, validar e implantar rapidamente redes neurais treinadas em datacenters de hiperescala, plataformas de GPU incorporadas e automotivas. A NVIDIA também afirma que o novo software possui mais de 190 vezes mais rapidez na inferência de aprendizado profundo quando comparado a CPUs para aplicativos comuns. Além disso, os engenheiros da NVIDIA e do Google integraram o TensorRT ao TensorFlow 1.7, facilitando a execução de aplicativos de inferência de aprendizado profundo em GPUs.
A NVIDIA otimizou o Kaldi para obter desempenho mais rápido em execução em GPUs, o que resultará em assistentes virtuais mais precisos e úteis para os consumidores e menores custos de implantação para operadores de datacenter.
Outros anúncios de parceria incluem:
- Suporte de IA para aplicativos do Windows 10, já que a NVIDIA fez parceria com a gigante de TI para criar ferramentas aceleradas por GPU para que os desenvolvedores incorporem recursos mais inteligentes nos aplicativos do Windows.
- Aceleração de GPU para Kubernetes para facilitar a implantação de inferência corporativa em clusters de GPU multinuvem.
- A MathWorks anunciou hoje a integração do TensorRT com seu principal software, o MATLAB. A NVIDIA indica que engenheiros e cientistas agora podem gerar automaticamente mecanismos de inferência de alto desempenho a partir do MATLAB para as plataformas Jetson, NVIDIA Drive e Tesla.
Em seguida, a NVIDIA especifica que o TensorRT pode ser implantado em veículos autônomos NVIDIA DRIVE e plataformas embarcadas NVIDIA Jetson, enquanto redes neurais profundas podem ser treinadas em sistemas NVIDIA DGX no datacenter em cada estrutura e, em seguida, implantadas em todos os tipos de tecnologias para inferência em tempo real no borda.
O TensorRT permitirá que os desenvolvedores se concentrem na criação de novos recursos de aprendizado profundo, em vez de ajuste de desempenho para implantação de inferência. A NVIDIA acrescenta que os desenvolvedores podem aproveitar o TensorRT para fornecer inferência extremamente rápida por meio de precisão INTS ou FP16. Isso reduzirá a latência, o que, por sua vez, melhorará recursos como detecção de objetos e planejamento de caminho em plataformas embarcadas e automotivas.
Amazon