Idag meddelade NVIDIA att man med hjälp av några av sina globala partners lanserar nya NVIDIA HGX A100-system. De nya systemen vill accelerera AI och HPC genom att lägga till NVIDIA-element som NVIDIA A100 80GB PCIe GPU, NVIDIA NDR 400G InfiniBand-nätverk och NVIDIA Magnum IO GPUDirect Storage-programvara. Dessa nya HGX-system kommer att lanseras på marknaden av partners inklusive Atos, Dell Technologies, Hewlett Packard Enterprise (HPE), Lenovo, Microsoft Azure och NetApp.
NVIDIA har tillverkat kraftfulla grafikprocessorer i flera år. Den framväxande AI-marknaden, särskilt inom HPC, har fått fler och fler superdatorer att dra nytta av företagets teknologi. NVIDIA själva har tillverkat HPC-servrar och arbetsstationer de senaste åren med DGX- och HGX-modeller. Den senare har samlat flera NVIDIA IP:er under ett tak för bättre prestanda. De nya systemen gör detta ännu en gång med det senaste och bästa NVIDIA har att erbjuda.
NVIDIA A100 80GB PCIe GPU
NVIDIA A100 tillkännagavs förra året på GTC. Denna nya 7nm GPU utnyttjar företagets Ampere-arkitektur och innehåller 54 miljoner transistorer. NVIDIA förbättrade snabbt produkten med introduktionen av NVIDIA A100 80GB PCIe GPU, vilket fördubblade dess minne. A100 80GB PCIe GPU är den första delen av de nya HGX A100-systemen. Dess stora minneskapacitet och höga bandbredd gör att mer data och större neurala nätverk kan lagras i minnet. Detta innebär mindre internodkommunikation samt mindre energiförbrukning. Det höga minnet möjliggör också högre genomströmning vilket kan leda till snabbare resultat.
Som sagt, NVIDIA A100 80GB PCIe GPU drivs av företagets Ampere-arkitektur. Denna arkitektur har Multi-Instance GPU, även kallad MIG. MIG kan leverera acceleration för mindre arbetsbelastningar, dvs AI-inferens. Denna funktion tillåter användare att skala ner både dator och minne med en garanterad QoS.
Partnerna kring NVIDIA A100 80GB PCIe GPU inkluderar Atos, Cisco, Dell Technologies, Fujitsu, H3C, HPE, Inspur, Lenovo, Penguin Computing, QCT och Supermicro. Det finns några molntjänster som tillhandahåller tekniken, inklusive AWS, Azure och Oracle.
NVIDIA NDR 400G InfiniBand-nätverk
Den andra pusselbiten för NVIDIA HGX A100-systemet är de nya NVIDIA NDR 400G InfiniBand-switchsystemen. Det här kanske låter lite självklart, men HPC-system behöver mycket hög datagenomströmning. NVIDIA förvärvade Mellanox för några år sedan för nästan 7 miljarder dollar . Sedan dess har de stadigt släppt nya produkter samtidigt som de sakta fasat ut Mellanox-namnet för NVIDIA. Förra året släpptes NVIDIA NDR 400G InfiniBand med 3 gånger så hög porttäthet och 32 gånger så hög AI-acceleration. Detta integreras i de nya HGX-systemen genom NVIDIA Quantum-2-switchsystemet med fast konfiguration. Detta system sägs leverera 64 portar med NDR 400Gb/s InfiniBand per port eller 128 portar med NDR200.
Enligt företaget ger de nya NVIDIA Quantum-2 modulära switcharna skalbara portkonfigurationer upp till 2,048 400 portar med NDR 4,096 Gb/s InfiniBand (eller 200 1.64 portar på NDR5) med en total dubbelriktad genomströmning på 6.5 petabits per sekund. Detta representerar en 3x förbättring jämfört med föregående generation med 32x större skalbarhet. Med hjälp av en DragonFly+ nätverkstopologi kan användare ansluta till över en miljon noder. Slutligen har företaget lagt till sin XNUMX:e generationens NVIDIA SHARP In-Network Computing-datareduktionsteknologi, som det fortsätter att hävda kan se XNUMX gånger högre AI-acceleration jämfört med tidigare generationer.
NVIDIA Quantum-2-switchar är både bakåt- och framåtkompatibla. Tillverkningspartners inkluderar Atos, DDN, Dell Technologies, Excelero, GIGABYTE, HPE, Lenovo, Penguin, QCT, Supermicro, VAST och WekaIO.
Magnum IO GPUDirect-lagring
Den sista biten i det nya NVIDIA HDX A100-pusslet är den nya Magnum IO GPUDirect Storage. Detta möjliggör direkt minnesåtkomst mellan GPU-minne och lagring. Detta har flera fördelar, inklusive lägre I/O-latens, bullanvändning av bandbredden för nätverksadaptrarna och mindre påverkan på CPU:n. Flera partners har Magnum IO GPUDirect Storage tillgänglig nu inklusive DDN, Dell Technologies, Excelero, HPE, IBM Storage, Micron, NetApp, Pavilion, ScaleFlux, VAST och WekaIO.
Amazon