Jensen Huang van NVIDIA is deze week aanwezig op Computex 2023 in Taiwan, waar hij een keynote geeft vol nieuwe productaankondigingen met de nadruk op het mogelijk maken van de ontwikkeling van de volgende generatie modellen voor generatieve AI-toepassingen, data-analyse en aanbevelingssystemen. De NVIDIA DGX- supercomputer, aangedreven door NVIDIA GH200 Grace Hopper Superchips, en het NVIDIA NVLink-switchsysteem stonden centraal.
De NVIDIA DGX GH200 maakt gebruik van NVLink-interconnecttechnologie met het NVLink Switch System om 256 GH200 Superchips te combineren tot één enkele GPU, wat resulteert in een prestatie van 1 exaflop en 144 terabyte aan gedeeld geheugen. Dat is bijna 500 keer meer geheugen dan een enkel NVIDIA DGX A100-systeem!
NVLink-technologie breidt AI op schaal uit
De GH200 Superchips combineren de op Arm gebaseerde NVIDIA Grace CPU met de NVIDIA H100 Tensor Core GPU via NVLink-C2C chipinterconnecties, waardoor de traditionele PCIe-verbinding tussen CPU en GPU overbodig wordt. De bandbreedte tussen GPU en CPU is zeven keer zo groot als bij de nieuwste PCIe-technologie, waardoor het stroomverbruik van de interconnecties met meer dan vijf keer wordt verminderd en een 600GB Hopper-architectuur GPU-bouwsteen ontstaat voor DGX GH200-supercomputers.
Dit is de eerste supercomputer die Grace Hopper Superchips koppelt aan het NVLink Switch-systeem. Dankzij deze nieuwe onderlinge verbinding kunnen alle GPU's in een DGX GH200-systeem als één werken, vergeleken met de limiet van acht GPU's in combinatie met NVLink als een enkele GPU, zonder dat dit ten koste gaat van de prestaties. De DGX GH200-architectuur levert 10x meer bandbreedte dan de vorige generatie en levert de kracht van een enorme AI-supercomputer met de eenvoud van het programmeren van een enkele GPU.
AI-pioniers krijgen nieuwe onderzoekstools
De eersten die toegang krijgen tot de nieuwe supercomputer zijn naar verwachting Google Cloud, Meta en Microsoft, waardoor ze de mogelijkheden voor generatieve AI-workloads kunnen verkennen. NVIDIA is van plan het DGX GH200-ontwerp als blauwdruk te leveren aan cloudserviceproviders en andere hyperscalers, zodat ze het kunnen aanpassen aan hun infrastructuur.
NVIDIA-onderzoekers en ontwikkelingsteams krijgen toegang tot de nieuwe NVIDIA Helios-supercomputer met vier DGX GH200-systemen. Helios zal 1,024 Grace Hopper Superchips bevatten en zal naar verwachting tegen het einde van het jaar online zijn. Elk systeem in de Helios-supercomputer wordt onderling verbonden met NVIDIA Quantum-2 InfiniBand-netwerken met een datadoorvoer tot 400 Gb/s voor het trainen van grote AI-modellen.
Geïntegreerd en doelgericht gebouwd
De DGX GH200-supercomputers zullen NVIDIA-software bevatten die een kant-en-klare, complete oplossing biedt voor de grootste AI- en data-analyseworkloads. De NVIDIA Base Command- software biedt AI-workflowbeheer, clusterbeheer op bedrijfsniveau, bibliotheken voor het versnellen van reken-, opslag- en netwerkinfrastructuur, en systeemsoftware die is geoptimaliseerd voor het uitvoeren van AI-workloads. De NVIDIA AI Enterprise- software zal worden meegeleverd en biedt meer dan 100 frameworks, opnieuw getrainde modellen en ontwikkeltools om de ontwikkeling en implementatie van AI in productieomgevingen te stroomlijnen, waaronder generatieve AI, computervisie, spraak-AI en andere.
Beschikbaarheid
NVIDIA DGX GH200-supercomputers zullen naar verwachting tegen het einde van het jaar beschikbaar zijn.
Amazon