NVIDIA GPU:er når nya nivåer för AI-prestanda i de senaste MLPerf-testerna

Det senaste MLPerf-resultat har publicerats, med NVIDIA som levererar högsta prestanda och effektivitet från molnet till kanten för AI-inferens. MLPerf förblir ett användbart mått för AI-prestanda som ett oberoende riktmärke från tredje part. NVIDIAs AI-plattform har legat överst på listan för träning och slutledning sedan starten av MLPerf, inklusive de senaste MLPerf Inference 3.0-riktmärkena.

Tack vare mjukvaruoptimeringar levererade NVIDIA H100 Tensor Core GPU:er som körs i DGX H100-system den högsta prestandan i varje test av AI-inferens, en ökning med 54 procent från debuten i september. Inom sjukvården gav H100 GPU:er 31 procent prestandavinster på 3D-UNet, MLPerf-riktmärket för medicinsk bildbehandling.

Drivs av sin Transformer Engine, utmärkte H100 GPU, baserad på Hopper-arkitekturen, på BERT. BERT är en modell för naturlig språkbehandling utvecklad av Google som lär sig dubbelriktade representationer av text för att avsevärt förbättra kontextuell förståelse av omärkt text över många olika uppgifter. Det är grunden för en hel familj av BERT-liknande modeller som RoBERTa, ALBERT och DistilBERT.

Med Generativ AI kan användare snabbt skapa text, bilder, 3D-modeller och mycket mer. Företag, från nystartade företag till molntjänstleverantörer, antar generativ AI för att möjliggöra nya affärsmodeller och påskynda befintliga. Ett generativt AI-verktyg som har varit i nyheterna på sistone är ChatGPT, som används av miljontals som förväntar sig omedelbara svar efter frågor och input.

Med djupinlärning distribueras överallt, är prestanda på slutledning avgörande, från fabriksgolv till onlinerekommendationssystem.

L4 GPU:er levererar fantastisk prestanda

På sin jungfruresa, NVIDIA L4 Tensor Core GPU:er presterade med över 3 gånger hastigheten jämfört med tidigare generationers T4 GPU:er. L4 GPU-acceleratorerna, förpackade i en lågprofilformfaktor, är designade för att leverera hög genomströmning och låg latens i nästan vilken serverplattform som helst. L4 Tensor GPU:erna körde alla MLPerf-arbetsbelastningar, och tack vare deras stöd för FP8-formatet var resultaten utmärkta på den prestandahungriga BERT-modellen.

Utöver den extrema AI-prestandan levererar L4 GPU:er upp till 10x snabbare bildavkodning, upp till 3.2x snabbare videobehandling och över 4x snabbare grafik- och realtidsrenderingsprestanda. Acceleratorerna, som tillkännagavs på GTC för ett par veckor sedan, är tillgängliga från systemtillverkare och molntjänstleverantörer.

Vilken nätverksavdelning?

NVIDIAs full-stack AI-plattform visade sitt värde i ett nytt MLPerf-test: Network-division benchmark!

Nätverksdivisionens benchmark strömmar data till en fjärranslutningsserver. Det återspeglar det vanliga scenariot med företagsanvändare som kör AI-jobb i molnet med data lagrad bakom företagets brandväggar.

På BERT levererade fjärranslutna NVIDIA DGX A100-system upp till 96 procent av sin maximala lokala prestanda, delvis saktade medan de väntade på att CPU:er skulle slutföra vissa uppgifter. På ResNet-50-testet för datorseende, som enbart hanteras av GPU:er, nådde de 100 %.

NVIDIA Quantum Infiniband-nätverk, NVIDIA ConnectX SmartNICs och programvara som NVIDIA GPUDirect spelade en betydande roll i testresultaten.

Orin förbättras vid kanten

Separat levererade NVIDIA Jetson AGX Orin system-på-modul vinster på upp till 63 procent i energieffektivitet och 81 procent i prestanda jämfört med resultat från förra året. Jetson AGX Orin ger slutsatser när AI behövs i trånga utrymmen vid låga effektnivåer, inklusive batteridrivna system.

Jetson Orin NX 16G, en mindre modul som kräver mindre ström, presterade bra i riktmärkena. Den levererade upp till 3.2 gånger prestanda från Jetson Xavier NX-processorn.

NVIDIA AI ekosystem

MLPerf-resultaten visar att NVIDIA AI stöds av ett brett ekosystem inom maskininlärning. Tio företag lämnade in resultat på NVIDIA-plattformen i denna omgång, inklusive Microsoft Azure molntjänst- och systemtillverkare, ASUS, Dell Technologies, GIGABYTE, H3C, Lenovo, Nettrix, Supermicro och xFusion. Deras arbete illustrerar att användare kan få bra prestanda med NVIDIA AI både i molnet och på servrar som körs i deras egna datacenter.