NVIDIA L4 GPU-granskning – Lågkraftig slutledningsguide

I den här recensionen tittar vi på mäktig men liten NVIDIA L4 GPU på flera servrar med verkliga AI-benchmarking-insikter.

I dagens AI-världs överväldigande ström av innovation är det avgörande att mäta och förstå kapaciteten hos olika hårdvaruplattformar. All AI kräver inte enorma tränings-GPU-farmar, det finns ett viktigt segment av slutlednings-AI, som ofta kräver mindre GPU-kraft, särskilt vid kanten. I den här recensionen tar vi en titt på flera NVIDIA L4 GPU:er, över tre olika Dell-servrar, och en mängd olika arbetsbelastningar, inklusive MLperf, för att se hur L4 står sig.

NVIDIA L4 GPU

I kärnan levererar L4 imponerande 30.3 teraFLOPs i FP32-prestanda, perfekt för beräkningsuppgifter med hög precision. Dess skicklighet sträcker sig till beräkningar med blandad precision med TF32, FP16 och BFLOAT16 Tensor Cores, avgörande för effektivitet i djupinlärning. L4-specifikationen citerar prestanda mellan 60 och 121 teraFLOPs.

I lågprecisionsuppgifter lyser L4 med 242.5 teraFLOPs i FP8 och INT8 Tensor Cores, vilket förbättrar inferencing av neurala nätverk. Dess 24 GB GDDR6-minne, kompletterat med en bandbredd på 300 GB/s, gör att den kan hantera stora datamängder och komplexa modeller. L4:s energieffektivitet är det som är mest anmärkningsvärt här, med en 72W TDP som gör den lämplig för olika datormiljöer. Denna blandning av hög prestanda, minneseffektivitet och låg strömförbrukning gör NVIDIA L4 till ett övertygande val för avancerade beräkningsutmaningar.

Naturligtvis, med L4-priset någonstans nära $2500, A2 kommer in till ungefär halva priset och den åldrade (men fortfarande ganska kapabla) T4 tillgänglig för under $1000 använd, är den uppenbara frågan vad som är skillnaden mellan dessa tre slutlednings-GPU:er.

En sak att förstå när man tittar på de här tre korten är att de inte exakt är generationsmässiga en-till-en-ersättningar, vilket förklarar varför T4 fortfarande, många år senare, fortfarande är ett populärt val för vissa användningsfall. A2 kom ut som en ersättning för T4 som ett lågeffekts och mer kompatibelt (x8 vs x16 mekaniskt) alternativ. Tekniskt sett är L4 då en ersättare för T4, med A2 gränsöverskridande ett mellanrum som kanske eller inte kan uppdateras någon gång i framtiden.

MLPerf Inferens 3.1 Prestanda

MLPerf är ett konsortium av AI-ledare från akademi, forskning och industri etablerat för att tillhandahålla rättvisa och relevanta AI-hård- och mjukvaruriktmärken. Dessa riktmärken är utformade för att mäta prestandan för maskininlärning av maskinvara, programvara och tjänster för olika uppgifter och scenarier.

Våra tester fokuserar på två specifika MLPerf-riktmärken: Resnet50 och BERT.

• Resnet50: Detta är ett konvolutionellt neuralt nätverk som främst används för bildklassificering. Det är en bra indikator på hur väl ett system kan hantera djuplärande uppgifter relaterade till bildbehandling.
• BERT (Bidirectional Encoder Representations from Transformers): Detta riktmärke fokuserar på naturliga språkbearbetningsuppgifter och ger insikter om hur ett system presterar när det gäller att förstå och bearbeta mänskligt språk.

Båda dessa tester är avgörande för att utvärdera AI-hårdvarans kapacitet i verkliga scenarier som involverar bild- och språkbehandling.

Att utvärdera NVIDIA L4 med dessa riktmärken är avgörande för att hjälpa till att förstå kapaciteten hos L4 GPU i specifika AI-uppgifter. Den ger också insikter i hur olika konfigurationer (enkla, dubbla och fyrhjuliga inställningar) påverkar prestandan. Denna information är viktig för yrkesverksamma och organisationer som vill optimera sin AI-infrastruktur.

Modellerna körs under två nyckellägen: Server och Offline.

• Offlineläge: Detta läge mäter ett systems prestanda när all data är tillgänglig för bearbetning samtidigt. Det liknar batchbearbetning, där systemet bearbetar en stor datamängd i en enda batch. Offlineläge är avgörande för scenarier där latens inte är ett primärt problem, men genomströmning och effektivitet är det.
• Serverläge: Däremot utvärderar serverläget systemets prestanda i ett scenario som efterliknar en verklig servermiljö, där förfrågningar kommer in en i taget. Det här läget är latenskänsligt och mäter hur snabbt systemet kan svara på varje begäran. Det är viktigt för realtidsapplikationer, såsom webbservrar eller interaktiva applikationer, där omedelbar respons är nödvändig.

1 x NVIDIA L4 – Dell PowerEdge XR7620

Som en del av vår senaste recension av Dell PowerEdge XR7620, utrustad med en enda NVIDIA L4, tog vi den till kanten för att köra flera uppgifter, inklusive MLPerf.

Vår testsystemkonfiguration inkluderade följande komponenter:

• 2 x Xeon Gold 6426Y – 16-kärnig 2.5 GHz
• 1 x NVIDIA L4
• 8 x 16 GB DDR5
• 480 GB BOSS RAID1
• Ubuntu Server 22.04
• NVIDIA-drivrutin 535

Prestanda i server- och offlinescenarier för Resnet50 och BERT K99 är nästan identisk, vilket indikerar att L4 bibehåller konsekvent prestanda över olika servermodeller.

1, 2 och 4 NVIDIA L4 – Dell PowerEdge T560

Vår granskningsenhetskonfiguration inkluderade följande komponenter:

• 2 x Intel Xeon Gold 6448Y (32-kärniga/64-trådar vardera, 225-watt TDP, 2.1-4.1GHz)
• 8 x 1.6 TB Solidigm P5520 SSD-enheter med PERC 12 RAID-kort
• 1-4x NVIDIA L4 GPU:er
• 8 x 64 GB RDIMM
• Ubuntu Server 22.04
• NVIDIA-drivrutin 535

I våra tester med två L4 i Dell T560 observerade vi denna nästan linjära skalning i prestanda för både Resnet50 och BERT K99 benchmarks. Denna skalning är ett bevis på effektiviteten hos L4 GPU:er och deras förmåga att arbeta tillsammans utan betydande förluster på grund av overhead eller ineffektivitet.

Den konsekventa linjära skalningen vi såg med två NVIDIA L4 GPU:er sträcker sig imponerande till konfigurationer med fyra L4-enheter. Denna skalning är särskilt anmärkningsvärd eftersom att upprätthålla linjära prestandavinster blir alltmer utmanande med varje tillagd GPU på grund av komplexiteten med parallell bearbetning och resurshantering.

Dessa resultat är endast för illustrativa syften och inte konkurrenskraftiga eller officiella MLPerf-resultat. För en fullständig officiell resultatlista vänligen besök MLPerfs resultatsida.

Förutom att validera den linjära skalbarheten hos NVIDIA L4 GPU:er, belyser våra tester i labbet de praktiska konsekvenserna av att distribuera dessa enheter i olika driftsscenarier. Konsistensen i prestanda mellan server- och offlinelägen i alla konfigurationer med L4 GPU:er avslöjar till exempel deras tillförlitlighet och mångsidighet.

Denna aspekt är särskilt relevant för företag och forskningsinstitutioner där operativa sammanhang varierar kraftigt. Dessutom ger våra observationer om den minimala effekten av sammankopplingsflaskhalsar och effektiviteten av GPU-synkronisering i multi-GPU-uppsättningar värdefulla insikter för dem som vill skala sin AI-infrastruktur. Dessa insikter går längre än bara benchmarksiffror och ger en djupare förståelse för hur sådan hårdvara kan användas optimalt i verkliga scenarier, vägleder bättre arkitektoniska beslut och investeringsstrategier i AI- och HPC-infrastruktur.

NVIDIA L4 – Applikationsprestanda

Vi jämförde prestandan för nya NVIDIA L4 med NVIDIA A2 och NVIDIA T4 som kom före den. För att visa upp den här prestandauppgraderingen under tidigare modeller, distribuerade vi alla tre modellerna i en server i vårt labb, med Windows Server 2022 och de senaste NVIDIA-drivrutinerna, som utnyttjade hela vår GPU-testsvit.

Dessa kort testades på en Dell Poweredge R760 med följande konfiguration:

• 2 x Intel Xeon Gold 6430 (32 kärnor, 2.1 GHz)
• Windows Server 2022
• NVIDIA-drivrutin 538.15
• ECC inaktiverad på alla kort för 1x provtagning

När vi startar prestandatestningen mellan denna grupp av tre företags-GPU:er är det viktigt att notera de unika prestandaskillnaderna mellan de tidigare A2- och T4-modellerna. När A2 släpptes erbjöd den några anmärkningsvärda förbättringar som lägre strömförbrukning och drift på en mindre PCIe Gen4 x8-plats, istället för den större PCIe Gen3 x16-sloten, krävde den äldre T4. Det gjorde det möjligt för den att passa in i fler system, särskilt med det mindre fotavtrycket som behövdes.

Blender OptiX 4.0

Blender OptiX är en 3D-modelleringsapplikation med öppen källkod. Detta test kan köras för både CPU och GPU, men vi gjorde bara GPU som de flesta andra tester här. Detta benchmark kördes med hjälp av Blender Benchmark CLI-verktyget. Poängen är prover per minut, med högre är bättre.

Blackmagic RAW Speed ​​Test

Vi testar CPU:er och GPU:er med Blackmagics RAW Speed ​​Test som testar videouppspelningshastigheter. Detta är mer av ett hybridtest som inkluderar CPU- och GPU-prestanda för RAW-avkodning i verkligheten. Dessa visas som separata resultat men vi fokuserar bara på GPU:erna här, så CPU-resultaten utelämnas.

Cinebench 2024 GPU

Maxons Cinebench 2024 är ett processor- och GPU-renderingsriktmärke som använder alla CPU-kärnor och -trådar. Återigen eftersom vi fokuserar på GPU-resultat, körde vi inte CPU-delarna av testet. Högre poäng är bättre.

GPU PI

GPUPI 3.3.3 är en version av det lätta benchmarkingverktyget utformat för att beräkna π (pi) till miljarder decimaler med hjälp av hårdvaruacceleration genom GPU:er och processorer. Det utnyttjar datorkraften hos OpenCL och CUDA som inkluderar både centrala och grafiska bearbetningsenheter. Vi körde CUDA endast på alla 3 GPU:er och siffrorna här är beräkningstiden utan reduktionstid tillagd. Lägre är bättre.

Medan de tidigare resultaten bara tittade på en enda iteration av varje kort, hade vi också chansen att titta på en 5x NVIDIA L4-distribution inuti Dell PowerEdge T560.

Oktanbänk

OctaneBench är ett benchmarkingverktyg för OctaneRender, en annan 3D-renderare med RTX-stöd som liknar V-Ray.

Geekbench 6 GPU

Geekbench 6 är ett plattformsoberoende riktmärke som mäter systemets övergripande prestanda. Det finns testalternativ för både CPU- och GPU-benchmarking. Högre poäng är bättre. Återigen tittade vi bara på GPU-resultaten.

Du kan hitta jämförelser med vilket system du vill i Geekbench webbläsare.

Luxmark

LuxMark är ett OpenCL plattformsoberoende benchmarking-verktyg från dem som underhåller den öppna källkodsmotorn LuxRender 3D. Det här verktyget tittar på GPU-prestanda i 3D-modellering, belysning och videoarbete. För denna recension använde vi den senaste versionen, v4alpha0. I LuxMark är högre bättre när det kommer till poängen.

GROMACS CUDA

Vi källkompilerade också GROMACS, en mjukvara för molekylär dynamik, specifikt för CUDA. Denna skräddarsydda kompilering var för att utnyttja de parallella bearbetningsmöjligheterna hos de 5 NVIDIA L4 GPU:erna, nödvändiga för att accelerera beräkningssimuleringar.

Processen involverade användningen av nvcc, NVIDIAs CUDA-kompilator, tillsammans med många iterationer av lämpliga optimeringsflaggor för att säkerställa att binärfilerna var korrekt inställda till serverns arkitektur. Inkluderandet av CUDA-stöd i GROMACS-kompileringen gör att programvaran direkt kan samverka med GPU-hårdvaran, vilket drastiskt kan förbättra beräkningstiderna för komplexa simuleringar.

Testet: anpassad proteininteraktion i Gromacs

Med hjälp av en indatafil som tillhandahålls av gemenskapen från vår mångsidiga Discord, som innehöll parametrar och strukturer skräddarsydda för en specifik proteininteraktionsstudie, initierade vi en simulering av molekylär dynamik. Resultaten var anmärkningsvärda – systemet uppnådde en simuleringshastighet på 170.268 nanosekunder per dag.

Mer än AI

Med hypen om AI som är på topp är det lätt att fastna i prestandan hos modeller på NVIDIA L4, men den har också några andra knep i rockärmen som öppnar upp en hel del möjligheter för videoapplikationer. Den kan vara värd för upp till 1,040 1 samtidiga AV720-videoströmmar vid 30pXNUMX. Detta kan förvandla hur innehåll kan streamas live till kantanvändare, förbättra kreativt berättande och presentera intressanta användningsområden för uppslukande AR/VR-upplevelser.

NVIDIA L4 utmärker sig också när det gäller att optimera grafikprestanda, vilket framgår av dess kapacitet i realtidsrendering och strålspårning. På ett edge-kontor kan L4 tillhandahålla en robust och kraftfull accelerationsgrafisk beräkning i VDI till de slutanvändare som behöver det mest där högkvalitativ realtidsgrafikåtergivning är avgörande.

Utgående Tankar

NVIDIA L4 GPU ger en solid plattform för edge AI och högpresterande datoranvändning, och erbjuder oöverträffad effektivitet och mångsidighet i flera applikationer. Dess förmåga att hantera intensiv AI, acceleration eller videopipelines och optimera grafikprestandan gör den till ett idealiskt val för edge inferencing eller virtuell skrivbordsacceleration. L4:s kombination av hög beräkningskraft, avancerad minneskapacitet och energieffektivitet positionerar den som en nyckelaktör för att driva accelerationen av arbetsbelastningar vid kanten, särskilt i AI och grafikintensiva industrier.

Det råder ingen tvekan om att AI är IT-orkanens öga nuförtiden, och efterfrågan på monster H100/H200 GPU:erna fortsätter att vara genom taket. Men det finns också ett stort tryck för att få en mer robust uppsättning IT-kit till kanten, där data skapas och analyseras. I dessa fall krävs en mer lämplig GPU. Här utmärker sig NVIDIA L4 och bör vara standardalternativet för kantinferencing, antingen som en enda enhet eller skalas ihop som vi testade i T560.

NVIDIA L4 produktsida

Engagera dig med StorageReview

Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Rssflöde