Společnost Supermicro již dlouho nabízí GPU servery v tolika tvarech a velikostech, než kolik máme v této recenzi času probrat. Dnes se podíváme na jejich relativně nový 4U vzduchem chlazený GPU server, který podporuje dva procesory AMD EPYC řady 9004, PCIe Gen5 a výběr z osmi dvojnásobně širokých nebo dvanácti jednonásobně širokých rozšiřujících GPU karet. Supermicro sice nabízí i varianty těchto serverů založené na procesorech Intel, ale řada AS-4125GS-TNRT s procesory AMD je jedinými servery v této třídě, které podporují GPU NVIDIA H100 a AMD Instinct Mi210.
Server s grafickou kartou Supermicro AS-4125GS-TNRT má i několik dalších hardwarových výhod, jako je integrované síťové připojení 10GbE, správa mimo pásmo, 9 slotů FHFL PCIe Gen5, 24 2.5″ pozic, z nichž čtyři jsou NVMe a zbytek SATA/SAS. K dispozici jsou také 4 redundantní napájecí zdroje titanové úrovně s výkonem 2000 W. Na základní desce je jeden slot M.2 NVMe pro bootování.
Než se v tomto ohledu vydáme příliš daleko, stojí za zmínku, že Supermicro nabízí dvě další varianty serverové konfigurace AS-4125GS-TNRT. Ačkoli používají stejnou základní desku, AS-4125GS-TNRT1 je jednoprocesorová konfigurace s přepínačem PCIe, která podporuje až 10 grafických karet s dvojitou šířkou a 8 pozic pro SSD disky NVMe. AS-4125GS-TNRT2 je dvouprocesorová konfigurace, která je víceméně stejná, opět s přepínačem PCIe.
Bez ohledu na konfiguraci je Supermicro AS-4125GS-TNRT neuvěřitelně flexibilní díky svému designu a možnosti výběru modelů s přepínačem PCIe. Tento styl GPU serveru je oblíbený, protože umožňuje organizacím začít v malém a rozšiřovat se, kombinovat GPU pro různé potřeby nebo dělat cokoli, co se jim zlíbí. Systémy s GPU sockety přinášejí možnost lepší agregace GPU pro velké úlohy s umělou inteligencí, ale systémy s rozšiřujícími kartami jsou nepřekonatelné, pokud jde o flexibilitu úloh.
Supermicro AS-4125GS-TNRT s grafickými kartami AMD a NVIDIA od SC23
Navíc, i když to některým může připadat jako rouhání, servery s přídavnými kartami Supermicro pro grafické karty lze dokonce použít s kartami od AMD a NVIDIA v jednom zařízení! Ach jo, chcete-li, spousta zákazníků zjistila, že některé úlohy preferují Instinct, zatímco jiné úlohy mají rády grafické karty NVIDIA. A konečně, i když jsou méně populární než servery s přeplněnými grafickými kartami, stojí za zmínku, že tyto sloty jsou pouze sloty PCIe; není nerozumné si představit scénáře, kdy by zákazníci v tomto sestavě preferovali FPGA, DPU nebo nějakou jinou formu akcelerátoru. Flexibilita je opět hlavní a zásadní výhodou tohoto designu.
Pro účely naší recenze jsme si Supermicro AS-4125GS-TNRT objednali v základní konfiguraci, připravené k přidání CPU, DRAM, úložiště a samozřejmě GPU. Pro tuto recenzi jsme si od společnosti Supermicro vypůjčili 4 grafické karty NVIDIA H100.
Specifikace Supermicro AS-4125GS-TNRT
| TECHNICKÉ ÚDAJE | |
| Procesor (CPU) | Dvoupaticové procesory SP5 až do 128C / 256T každý |
| Memory | Až 24x 256GB 4800MHz ECC DDR5 RDIMM/LRDIMM (Celkem 6 TB paměti) |
| GPU |
|
| Rozšiřující sloty | 9 slotů PCIE 5.0 x16 FHFL |
| Napájecí zdroje | 4x 2000W redundantní napájecí zdroje |
| networking | 2x 10GbE |
| Skladování |
|
| Základní deska | Super H13DSG-O-CPU |
| management |
|
| Bezpečnost |
|
| Velikost podvozku | 4U |
Recenze a konfigurace Supermicro AS-4125GS-TNRT
Náš systém od Supermicro jsme nakonfigurovali jako barebone, ačkoliv ho většinou prodávají jako konfigurovaný systém. Když se dostal do laboratoře, první věc, kterou jsme udělali, bylo osadit ho dvěma procesory AMD EPYC 9374F 32c 64t. Ty byly vybrány pro svou vysokou taktovací frekvenci a slušný vícejádrový výkon.
Pokud jde o akcelerátory, měli jsme na výběr z poměrně široké nabídky, od starých koprocesorů Intel Phi, přes nejnovější karty H100 PCIe až po špičkové grafické karty RTX 6000 ADAA pro pracovní stanice. Naším cílem bylo vyvážit hrubý výpočetní výkon s efektivitou a všestranností. Nakonec jsme se rozhodli začít se čtyřmi grafickými kartami NVIDIA RTX A6000 a poté jsme pro naše úvodní testy přešli na čtyři karty NVIDIA H100 PCIe. Tato kombinace demonstruje flexibilitu platformy Supermicro a akceleračních karet NVIDIA.
RTX A6000, primárně navržená pro výkon v graficky náročných úlohách, vyniká také v aplikacích s umělou inteligencí a HPC díky své architektuře Ampere. Nabízí 48 GB paměti GDDR6, což ji činí ideální pro zpracování velkých datových sad a složitých simulací. Jejích 10 752 jader CUDA a 336 jader Tensor umožňuje akcelerované výpočty, což je klíčové pro naše testy umělé inteligence a hlubokého učení.
Na druhou stranu, karty NVIDIA H100 PCIe jsou nejnovějšími dodávanými kartami v řadě architektury Hopper, určenými primárně pro úlohy s umělou inteligencí. Každá karta disponuje působivými 80 miliardami tranzistorů, 80 GB paměti HBM3 a průlomovým Transformer Engine, přizpůsobeným pro modely umělé inteligence, jako je GPT-4. Tensor Cores 4. generace a instrukce DPX karty H100 výrazně vylepšují úlohy inference a trénování umělé inteligence.
Při integraci těchto grafických karet do našeho barebone systému Supermicro jsme se zaměřili na zajištění optimálního tepelného managementu a rozložení energie, a to vzhledem ke značné spotřebě energie a generování tepla těmito špičkovými komponenty. Šasi Supermicro, ačkoli oficiálně takovou konfiguraci nepodporuje, se ukázalo jako dostatečně všestranné, aby se do něj vešla naše sestava. Abychom udrželi teplotu A6000 pod kontrolou, museli jsme je kvůli konstrukci ventilátorů s klecí nakrátko umístit o šířku karty, ale H100 se dovnitř vejdou díky jejich pasivním chladicím žebrům.
Naše sada benchmarků zahrnovala kombinaci HPC a specifických případů užití umělé inteligence. Ty sahaly od tradičních benchmarkových úloh až po trénování a inferenční úlohy umělé inteligence s využitím konvolučních neuronových sítí. Naším cílem bylo posouvat limity těchto akcelerátorů a vyhodnocovat jejich hrubý výkon a efektivitu, škálovatelnost a snadnou integraci s naším serverem Supermicro A+.
Testování grafické karty Supermicro AS-4125GS-TNRT
Zatímco v laboratoři pracujeme na základním modelu CNN, procházíme vlajkové lodě grafických karet od NVIDIA a začali jsme s tréninkem na úrovni pracovních stanic na dvojici starších, ale vysoce výkonných grafických karet RTX8000.
Během naší analýzy výkonu umělé inteligence jsme zaznamenali pozoruhodný, ale očekávaný pokrok ve schopnostech, od NVIDIA RTX 8000 ke čtyřem grafickým kartám RTX A6000 a nakonec ke čtyřem grafickým kartám NVIDIA H100 PCIe. Tento pokrok ukázal surovou sílu těchto akcelerátorů a vývoj akcelerátorů NVIDIA v posledních několika letech, kdy se stále více pozornosti věnuje úlohám s umělou inteligencí.
Počínaje RTX 8000 jsme zaznamenali slušnou úroveň výkonu. S tímto nastavením trvalo trénování našeho modelu umělé inteligence na datové sadě o velikosti 6.36 GB přibližně 45 minut na epochu. Omezení RTX 8000 však byla zřejmá, pokud jde o velikost dávek a složitost úkolů, které dokázala zvládnout. Byli jsme omezeni menšími velikostmi dávek a omezenou složitostí modelů neuronových sítí, které jsme mohli efektivně trénovat.
Přechod na čtyři grafické karty RTX A6000 znamenal významný skok ve výkonu. Vyšší šířka pásma paměti a větší paměť GDDR6 u A6000 nám umožnily čtyřnásobně zvýšit velikost dávky při zachování stejné doby trvání epochy a složitosti modelu. Toto vylepšení zlepšilo proces trénování a umožnilo nám experimentovat se sofistikovanějšími modely bez prodloužení doby trénování.
Nejvýraznější pokrok však přineslo zavedení čtyř karet NVIDIA H100 PCIe. Využitím vylepšených schopností umělé inteligence architektury Hopper nám tyto karty umožnily opět zdvojnásobit velikost dávky. Ještě působivější je, že jsme mohli výrazně zvýšit složitost našich modelů umělé inteligence bez jakékoli výrazné změny v trvání epochy. Tato schopnost svědčí o pokročilých funkcích H100 specifických pro umělou inteligenci, jako je Transformer Engine a 4. generace Tensor Cores, které jsou optimalizovány pro efektivní zpracování složitých operací umělé inteligence.
V průběhu těchto testů sloužila 6.36GB obrazová datová sada a parametry modelu jako konzistentní benchmark, který nám umožnil přímo porovnávat výkon napříč různými konfiguracemi GPU. Přechod od RTX 8000 k A6000s a poté k H100s zdůraznil zlepšení v hrubém výpočetním výkonu a schopnosti GPU zvládat větší a složitější úlohy umělé inteligence bez kompromisů v rychlosti nebo efektivitě. Díky tomu jsou tyto GPU obzvláště vhodné pro špičkový výzkum umělé inteligence a rozsáhlé aplikace hlubokého učení.
Server Supermicro použitý v našem testování disponuje přímým PCIe připojením k CPU, čímž se obchází potřeba PCIe přepínače. Toto přímé připojení zajišťuje, že každá GPU má vyhrazenou cestu k CPU, což usnadňuje rychlý a efektivní přenos dat. Tato architektura je klíčová u některých úloh v oblasti umělé inteligence a HPC pro minimalizaci latence a maximalizaci využití šířky pásma, což je obzvláště výhodné při řešení úloh s vysokou propustností, jako je trénování modelů umělé inteligence nebo komplexní prostředí VDI, kdy je veškerá práce prováděna lokálně na serveru.
Závěr
Škálovatelnost a flexibilita serveru Supermicro GPU A+ Server AS-4125GS-TNRT jsou v tomto ohledu klíčové. Je obzvláště výhodný pro zákazníky, kteří se potřebují přizpůsobit vyvíjejícím se požadavkům na pracovní zátěž, ať už se jedná o AI, VDI nebo jiné vysoce výkonné úlohy. Počínaje skromnou konfigurací mohou uživatelé efektivně zvládat základní úlohy AI nebo VDI, což nabízí cenově výhodné řešení pro menší pracovní zátěže nebo pro ty, kteří se s infrastrukturou AI a virtuálních desktopů teprve začínají pouštít. Toto počáteční nastavení poskytuje solidní a škálovatelný základ, který uživatelům umožňuje pracovat se základními, ale nezbytnými aplikacemi AI a VDI.
Navíc, i když víme, že mnoho podniků chce využít socketové GPU H100, čekací doby na tyto platformy jsou dlouhé. Mnoho zdrojů nám sdělilo, že čekání je téměř rok. Logistika dodavatelského řetězce podtrhuje skvělou věc na tomto serveru, že zvládne cokoli. GPU L40S jsou k dispozici „nyní“, takže zákazníci mohou alespoň s touto kombinací rychleji rozběhnout své úlohy s umělou inteligencí. A jak se potřeby mění, zákazníci mohou karty snadno vyměnit. To zajišťuje, že server Supermicro GPU A+ Server AS-4125GS-TNRT není určen pouze pro okamžité potřeby, ale je připraven i na budoucnost a uspokojuje vyvíjející se technologické prostředí.
Amazon