NVIDIAs Jensen Huang är på Computex 2023 i Taiwan denna vecka och håller ett huvudanförande fyllt med nya produktlanseringar med fokus på att möjliggöra utvecklingen av nästa generations modeller för generativa AI-applikationer, dataanalys och rekommendationssystem. NVIDIA DGX- superdatorn som drivs av NVIDIA GH200 Grace Hopper Superchips och NVIDIA NVLink-switchsystemet intog scenen.
NVIDIA DGX GH200 använder NVLink-sammankopplingsteknik med NVLink Switch System för att kombinera 256 GH200 Superchips för att fungera som en enda GPU, vilket ger 1 exaflop prestanda och 144 terabyte delat minne. Det är nästan 500 gånger mer minne än ett enda NVIDIA DGX A100-system!
NVLink Technology utökar AI i skala
GH200 Superchips kombinerar den Arm-baserade NVIDIA Grace-processorn med NVIDIA H100 Tensor Core GPU med hjälp av NVLink-C2C -chipkopplingar, vilket eliminerar behovet av traditionell CPU-till-GPU PCIe-anslutning. Bandbredden mellan GPU och CPU ökas med 7x jämfört med den senaste PCIe-tekniken, vilket minskar strömförbrukningen för sammankopplingen med över 5x och ger en GPU-byggsten med 600 GB Hopper-arkitektur för DGX GH200-superdatorer.
Detta är den första superdatorn som kopplar ihop Grace Hopper Superchips med NVLink Switch System. Den här nya sammankopplingen gör att alla GPU:er i ett DGX GH200-system kan fungera som en, jämfört med gränsen på åtta GPU i kombination med NVLink som en enda GPU utan att påverka prestandan. DGX GH200-arkitekturen levererar 10 gånger mer bandbredd än föregående generation, och levererar kraften hos en massiv AI-superdator med enkelheten att programmera en enda GPU.
AI-pionjärer får nya forskningsverktyg
De första som kommer åt den nya superdatorn förväntas vara Google Cloud, Meta och Microsoft, vilket gör att de kan utforska dess kapacitet för generativa AI-arbetsbelastningar. NVIDIA har för avsikt att tillhandahålla DGX GH200-designen som en ritning till molntjänstleverantörer och andra hyperskalare så att de kan anpassa den för sin infrastruktur.
NVIDIAs forskare och utvecklingsteam kommer att få tillgång till den nya NVIDIA Helios superdatorn med fyra DGX GH200-system. Helios kommer att inkludera 1,024 2 Grace Hopper Superchips och förväntas vara online i slutet av året. Varje system i Helios superdator kommer att vara sammankopplat med NVIDIA Quantum-400 InfiniBand-nätverk med upp till XNUMX Gb/s bandbreddsdatagenomströmning för att träna stora AI-modeller.
Integrerad och specialbyggd
DGX GH200-superdatorerna kommer att inkludera NVIDIA-programvara som tillhandahåller en nyckelfärdig fullstack-lösning som stöder de största AI- och dataanalysarbetsbelastningarna. NVIDIA Base Command- programvaran tillhandahåller hantering av AI-arbetsflöden, klusterhantering i företagsklass, bibliotek för att accelerera beräknings-, lagrings- och nätverksinfrastruktur, samt systemprogramvara optimerad för att köra AI-arbetsbelastningar. NVIDIA AI Enterprise -programvara kommer att inkluderas och tillhandahålla mer än 100 ramverk, omskolade modeller och utvecklingsverktyg för att effektivisera utveckling och distribution av produktions-AI, inklusive generativ AI, datorseende, tal-AI och annat.
Tillgänglighet
NVIDIA DGX GH200 superdatorer förväntas vara tillgängliga i slutet av året.
Amazon