Open The Wallet Bay Doors Hal: de kracht van multi-GPU-gebruik en modelparallelliteit

De wereld van kunstmatige intelligentie evolueert razendsnel, knipper, en je zult de volgende stap missen. Nu modellen steeds groter worden, zoeken onderzoekers en ontwikkelaars voortdurend naar manieren om de efficiëntie en prestaties van AI-modellen te verbeteren. Een van de gemakkelijkste manieren om dit te bereiken, is het gebruik van meerdere Graphics Processing Units (GPU's) of Tensor Processing Units (TPU's, meer hierover in de volgende aflevering) voor AI-training en inferentie.

DNN Training op de HP z8 G5 Fury

Voortbouwend op onze laatste aflevering van AI In het lab, hebben we de voordelen van de overgang van het gebruik van een enkele GPU naar het gebruik van twee, en uiteindelijk vier, van deze krachtige kaarten in ons HP Z8 G5 Fury-werkstation diepgaand en praktisch onderzocht, met een specifieke focus op PyTorch-modelparallelisme .

De kracht van modelparallelisme

Voordat we ingaan op de details, is het essentieel om het concept van parallellisme te begrijpen. In de context van AI verwijst parallellisme naar het proces van het gelijktijdig uitvoeren van meerdere berekeningen. Dit is met name gunstig bij AI-training en inferentie, waarbij grote hoeveelheden gegevens moeten worden verwerkt. PyTorch, een open-source machine learning-bibliotheek die we in het lab gebruiken, biedt modelparallelisme, wat de distributie van een AI-model over meerdere GPU's mogelijk maakt. Dit leidt tot snellere trainingstijden, efficiëntere gevolgtrekkingen en de mogelijkheid om grotere, complexere modellen uit te voeren.

Het is van cruciaal belang dat SLI is uitgeschakeld

Voordelen van opschalen

Enkele GPU

Beginnend met een enkele GPU, biedt deze opstelling een solide basis voor AI-training en inferentie. Het uitvoeren van een enkele moderne (of zelfs een paar generaties oude) GPU in een werkstation voor ontwikkeling is meer dan voldoende voor de POC-fase. Het is in staat om een redelijke hoeveelheid gegevens te verwerken en kan bevredigende resultaten opleveren voor kleinere AI-modellen. Naarmate de complexiteit en omvang van de modellen echter toeneemt, kan het al snel moeilijk worden om een enkele GPU bij te houden, wat leidt tot langere trainingstijden en langzamere gevolgtrekkingen.

Gebruik van één GPU

Twee GPU's

Overschakelen naar een paar GPU's kan met name de prestaties van AI-modellen verbeteren. Denk er eens over na: tweemaal de verwerkingskracht kan de trainingstijden drastisch verkorten, wat de weg vrijmaakt voor snellere iteraties en een snelle reis naar resultaten.

De inferentiefase profiteert ook, wordt efficiënter en kan grotere databatches tegelijkertijd verwerken. In een dergelijke omgeving komt het modelparallellisme van PyTorch om de hoek kijken. Het verdeelt de werklast effectief tussen de twee eenheden, waardoor het gebruik ervan wordt gemaximaliseerd. Het is een slimme manier om ervoor te zorgen dat elk stuk hardware zijn gewicht draagt om een zeer productieve AI-operatie te realiseren.

3x zoveel plezier, NVIDIA A6000

Vier GPU's

Opschalen tot vier GPU's tilt de voordelen van multi-GPU-gebruik naar een ander niveau. Met een verviervoudiging van de verwerkingskracht kunnen AI-modellen met ongekende snelheden worden getraind en afgeleid. Deze opstelling is met name gunstig voor grote, complexe modellen die aanzienlijke rekenkracht vereisen. PyTorch's modelparallellisme kan het model over alle vier de eenheden verdelen, waardoor optimaal gebruik en optimale prestaties worden gegarandeerd.

In een werkstation kan het toepassen van handmatige ventilator- en klokwaarden ook de trainingsprestaties verbeteren.

Implementatie in het laboratorium

Doorgroeien van een solo-eenheid naar een duo en uiteindelijk naar een kwartet van GPU's voor AI-training en inferentie kan aanzienlijke voordelen opleveren. Dankzij de modelparallelliteit van PyTorch kunnen deze voordelen optimaal worden benut, wat resulteert in snellere en efficiëntere AI-modellen.

Met vallen en opstaan, geduld is de sleutel bij AI/ML/DL-training.

Naarmate onze honger naar meer ingewikkelde en competente AI toeneemt, zal de acceptatie van meerdere GPU's ongetwijfeld aan belang winnen. In het volgende artikel laten we de complexiteitsverbeteringen zien naarmate u meer verwerkingskracht toevoegt en over systemen verdeelt.

Opmerking: dit artikel is gebaseerd op de huidige stand van AI en PyTorch per juni 2023. Raadpleeg voor de meest actuele informatie onze meest recente AI-artikelen.

Neem contact op met StorageReview