Na veletrhu GTC v Tokiu společnost NVIDIA oznámila spuštění své nové platformy pro datová centra s umělou inteligencí, NVIDIA TensorRT Hyperscale Platform. Tato nová platforma je deklarována jako nejpokročilejší akcelerátor inference pro hlasové, video, obrazové a doporučovací služby. Platforma bude využívat nové grafické procesory Tesla T4 od společnosti NVIDIA a také komplexní sadu nového inferenčního softwaru.
Datová centra nyní zpracovávají všechny typy dotazů, včetně hlasu, překladů, obrázků, videí a různých interakcí na sociálních sítích. Aby organizace mohly řešit všechny tyto různé požadavky – které budou vyžadovat různé typy neuronových sítí – musí využívat umělou inteligenci. Nová platforma TensorRT Hyperscale od společnosti NVIDIA je kombinací hardwaru a softwaru, jejímž cílem je řešit výše uvedené problémy. Nová platforma, která využívá grafické procesory Tesla T4 založené na architektuře Turing společnosti, bude schopna poskytovat vysoký výkon s nízkou latencí pro end-to-end aplikace.
Mezi klíčové prvky patří:
- Grafická karta NVIDIA Tesla T4 – Tato nová grafická karta s 320 jádry Turing Tensor a 2 560 jádry CUDA poskytuje průlomový výkon s flexibilními možnostmi multi-precizní práce, od FP32 přes FP16 až po INT8 a také INT4. Je zabalena v energeticky úsporném 75wattovém, malém provedení PCIe, které se snadno vejde do většiny serverů, a nabízí špičkový výkon 65 teraflopů pro FP16, 130 teraflopů pro INT8 a 260 teraflopů pro INT4.
- NVIDIA TensorRT 5 – Optimalizátor inference a běhový engine NVIDIA TensorRT 5 podporuje Turingova tenzorová jádra a rozšiřuje sadu optimalizací neuronových sítí pro úlohy s vícenásobnou přesností.
- Inferenční server NVIDIA TensorRT – Tento kontejnerizovaný mikroservisní software umožňuje aplikacím používat modely umělé inteligence v produkčních datech datových center. Je volně dostupný z registru kontejnerů NVIDIA GPU Cloud, maximalizuje propustnost datových center a využití GPU, podporuje všechny populární modely a frameworky umělé inteligence a integruje se s Kubernetes a Dockerem.
Amazon