I takt med att industrier fortsätter att anamma och integrera AI i datorinfrastrukturen beskattas resurser och energieffektivitet blir svårare att upprätthålla. Sammantaget ger accelererad databehandling och den underliggande tekniken den effektivitet som krävs för att utveckla nästa generations innovation, med NVIDIA GPU:er, NVIDIA AI och nästa generations processorer som den nya fjärde generationens Intel Xeon Scalable -processorplattform i spetsen.
Med lanseringen av den fjärde generationens Intel Xeon Scalable-processor lanserar NVIDIA och dess partners en ny generation energieffektiva AI-accelererade datorsystem. I kombination med NVIDIA H100 Tensor Core GPU :er levererar dessa system dramatiskt högre prestanda, större skalbarhet och högre effektivitet än tidigare generationer.
Nya system lägger till prestanda och effektivitet till Enterprise AI
Nya system som drivs av NVIDIA och Intel kommer att tillåta företag att köra arbetsbelastningar 25 gånger mer effektivt än CPU-endast datacenterservrar. Att leverera denna prestanda per watt är detsamma som att använda mindre ström, vilket innebär mer kraft för datacenter för att påskynda moderna arbetsbelastningar.
Den nya generationen av NVIDIA-accelererade servrar snabbar på träning och slutledning, vilket ökar energieffektiviteten med 3.5x, vilket leder till faktiska besparingar, vilket sänker TCO för AI-datacenter med 3x.
4:e generationens Intel Xeon-processorer har stöd för PCIe Gen 5
Den nya 4:e generationens Intel Xeon CPU stöder PCIe Gen 5, vilket fördubblar dataöverföringshastigheterna från CPU till NVIDIA GPU:er och nätverk. De utökade PCIe-banorna ger en större täthet av GPU:er och höghastighetsnätverk inom varje server.
Snabbare minnesbandbredd förbättrar prestandan för dataintensiva arbetsbelastningar som AI medan nätverkshastigheter på upp till 400 gigabit per sekund (Gbps) per anslutning stöder snabbare dataöverföringar mellan servrar och lagring.
NVIDIA DGX H100-system och -servrar från NVIDIA-partners som levererar NVIDIA DGX H100-system och -servrar utrustade med H100 PCIe GPU:er levereras med en licens för NVIDIA AI Enterprise , en heltäckande, säker och molnbaserad programvara för AI-utveckling och distribution, som tillhandahåller en komplett plattform för effektiv AI för företag.
NVIDIA DGX H100-system som drivs av NVIDIA Base Command
NVIDIA DGX H100-systemen erbjuder en optimerad plattform som drivs av operativsystemet NVIDIA Base Command, utformat för accelererade datacenter. Varje system har åtta NVIDIA H100 GPU:er, 10 NVIDIA ConnectX-7 nätverkskort och dubbla skalbara 4:e generationens Intel Xeon-processorer för att leverera den prestanda som krävs för att bygga stora generativa AI-modeller, stora språkmodeller, rekommendationssystem med mera.
I kombination med NVIDIA-nätverk förväntas den här arkitekturen överladda effektiv datoranvändning i skala och leverera upp till 9 gånger högre prestanda än föregående generation och 20 gånger till 40 gånger högre prestanda än opaccelererade X86 dual-socket-servrar för AI-träning och HPC-arbetsbelastningar. Med den typen av prestanda kunde det som brukade ta ett språkmodell 40 dagarståg slutföras på mindre än två dagar.
NVIDIA DGX H100-systemen är byggstenarna i NVIDIA DGX SuperPOD och levererar upp till en exaflop AI-prestanda, ett språng i effektivitet för storskalig AI-distribution i företag.
NVIDIA-partners ökar effektiviteten i datacenter
För AI-datacenter-arbetsbelastningar gör NVIDIA H100 GPU:er det möjligt för företag att bygga och distribuera applikationer mer effektivt.
NVIDIA-partners, inklusive ASUS, Atos, Cisco, Dell Technologies, Fujitsu, GIGABYTE, Hewlett Packard Enterprise, Lenovo, QCT och Supermicro, förväntas snart börja leverera den nya portföljen av H100 GPU:er och 4:e generationens Intel Xeon Scalable CPU-servrar.
Att ansluta servrar med NVIDIA ConnectX-7-nätverk och Intel 4:e generationens Xeon-skalbara processorer kommer att öka effektiviteten och minska infrastrukturen och energiförbrukningen. NVIDIA ConnectX-7-adaptrar stöder PCIe Gen 5 och anslutningshastigheter på 400 Gbps över Ethernet eller InfiniBand, vilket fördubblar nätverksgenomströmningen mellan servrar och lagring.
Adaptrarna stöder avancerade nätverks-, lagrings- och säkerhetsavlastningar. ConnectX-7 minskar antalet kablar och switchportar som behövs, vilket sparar 17 procent eller mer på strömmen som krävs för att nätverka stora GPU-accelererade HPC- och AI-kluster och bidrar till bättre energieffektivitet för dessa nya servrar.
NVIDIA AI Enterprise Software levererar en fullstack AI-lösning
Dessa nästa generationssystem är optimerade för NVIDIA AI Enterprise Suite. NVIDIA AI Enterprise körs på NVIDIA H100 och accelererar datavetenskapens pipeline. Det effektiviserar utvecklingen och distributionen av prediktiva AI-modeller för att automatisera viktiga processer och få snabba insikter från data.
Med ett omfattande bibliotek av full-stack-programvara, inklusive AI-arbetsflöden av referensapplikationer, ramverk, förutbildade modeller och infrastrukturoptimering, ger programvaran en idealisk grund för att skala företags AI-framgång.
Amazon