Obvykle si s celkovým obrazem a dokončením recenze počkáme až do konce článku. Dell PowerEdge XE9680 však představuje tak vzrušující hardware, že jsme se nemohli dočkat, až se o své nadšení podělíme touto pozitivní recenzí. Design společnosti Dell je zaměřen na potřeby umělé inteligence a poskytuje obrovské množství výpočetního výkonu v provedení 6U. Díky partnerství společnosti Dell se společnostmi Intel a NVIDIA na modelu XE9680 přišli s nabídkou, která je nejen výkonná, ale i vysoce efektivní.
Dell PowerEdge XE9680
Jeho specifikace jsou naprosto působivé; dva procesory Intel Xeon Scalable 4. generace, každý s 56 jádry, a 2 TB paměti DDR5 RAM tvoří páteř CPU pro akcelerátory umělé inteligence. Po přidání osmi grafických karet NVIDIA HGX H100 nebo A100, propojených přes SXM a společně přes NVLink, je server vybaven pro zpracování největších modelových a datových úloh.
Kapacita serveru PowerEdge XE9680 pro velké objemy RAM (až 4 TB) poskytuje značnou konkurenční výhodu při zvládání úloh umělé inteligence. Takto velké paměťové nároky umožňují trénování složitějších modelů, což vede k vyššímu výkonu a přesnějším výsledkům.
Naše konfigurace zahrnují 8 pozic pro SSD disky U.2 NVMe vpředu. Stejně jako u modelu R660 ale Dell hodlá nabídnout i zadní desku E3.S s 16 SSD disky E3.S. Server také podporuje bootovací jednotku NVMe BOSS-N1 na zadní straně serveru.
Je to víc než jen o moci
PowerEdge XE9680 se nezaměřuje jen na výkon, ale také na zabezpečení a spravovatelnost. Díky funkcím, jako je kryptograficky podepsaný firmware, šifrování dat v klidu (Data at Rest Encryption) a zabezpečené spouštění, server zajišťuje, že vaše data jsou vždy chráněna. Vestavěný systém iDRAC9 poskytuje snadno použitelné rozhraní pro správu a nabízí řadu nástrojů a integrací, díky nimž je správa serveru přímočará a bezproblémová.
Tento systém jsme otestovali, když jsme chtěli změnit instalaci operačního systému (o tom později) na serveru. Bylo jednodušší použít funkci kryptografického mazání řadiče iDRAC, stačí jen pár kliknutí a systém je čistý.
nvidia-smi na XE9680 s kartami H100
Dříve jsme se podívali na bílou knihu společnosti Dell o serveru XE9680 a jeho výkonu v porovnání s benchmarky latence generování obrazu stanovenými společností Lambda. Server poskytoval zhruba dvojnásobnou propustnost, což svědčí o výkonu a efektivitě serveru PowerEdge XE9680.
Skóre MLPerf je všeobecně známé a akceptované jako dobré hodnocení výkonu systémů v této třídě, takže abychom využili našeho praktického času se servery XE9680 A100 a H100, rozhodli jsme se provést přímé srovnání jemného doladění Meta LLaMa s těmito dvěma systémy. Za tímto účelem jsme se řídili kroky tréninku Alpaca od Stanfordu, které provedli s použitím 4 systémů A100.
Výcvik alpak na XE9680
Chceme poděkovat týmům společností NVIDIA a Dell za jejich pomoc s tímto projektem. Jedná se o tak špičkovou technologii z hlediska hardwaru i softwaru, že bez vedení odborníků z obou společností by to byl mnohem zdlouhavější a intenzivnější proces.
V systému A100 jsme pomocí procesu popsaného na Git Hubu Stanford Alpaca mohli reprodukovat kroky pro vytvoření kontrolních bodů Alpaca a dokončit tak tři epochy trénování s průměrnou dobou trvání přibližně 90 minut.
Při přechodu na systém H100 jsme zaznamenali zlepšení, kdy se běhy dokončovaly přibližně za 70 minut na běh. Vzhledem k vysoké poptávce a omezené povaze těchto systémů jsme neměli možnost ladit samotný kód, abychom prozkoumali možná vylepšení výkonu, a bylo jasné, že s vylepšením a časem věnovaným vývoji by podnikový tým mohl dosáhnout rychlého zrychlení dodacích lhůt díky jemnému doladění.
Oficiálně neoficiální
Na XE9680 s procesorem A100 jsme měli možnost provést nekonvenční a velmi neortodoxní testování. Na systém jsme nainstalovali Windows Server 2022! To zahrnovalo několik vymazání disků iDRAC pro odstranění instalace Linuxu, několik triků se soubory iDRAC .iso a virtuálními médii pro stažení síťových ovladačů Intel a odtud už šlo to na závody. Použili jsme čipsetové disky ze srovnatelného systému Dell PowerEdge a poté oficiální ovladače NVIDIA A100.
Systém funguje a je stabilní bez problémů. Jedná se však o velmi neobvyklý případ použití, který Dell oficiálně nepodporuje. Vyzbrojeni naší čerstvě instalovaným Windows a osmi nejlepšími grafickými kartami na trhu jsme se tedy pustili do toho, co umíme nejlépe – otestovali jsme Raspberry Pi!
Osm karet NVIDIA A100 snadno překonalo světové rekordy GPU-Pi bez jakéhokoli ladění a procesory Xeon Platinum dosáhly skvělých výsledků v testech y-cruncher i Cinebench. Vyzkoušeli jsme i několik dalších standardních benchmarků CPU/GPU s malou nadějí, že budou fungovat, a jak se dalo očekávat, narazili jsme na problémy se softwarem/kodérem, které zabránily úspěšnému spuštění. Například Procyon ani nechápal, že má k dispozici grafické karty Tensor pro provedení testu.
Znovu musíme zopakovat, že se jednalo pouze o test nepodporované konfigurace a skutečnost, že se nám vůbec něco podařilo zprovoznit, je působivá a svědčí o schopnosti společnosti Dell vyrábět konzistentní hardware napříč platformami. Používání systému Windows Server na tomto typu systému v jakémkoli produkčním prostředí by bylo nerozumné.
| test | Výsledek |
| Cinebench Multi | 90,710 |
| Cinebench Single | 174 |
| Dávka CB MP | 77.24 |
| Geekbench 6 GPU | 197,669 |
| Geekbench 6 Single | 1,678 |
| Geekbench6 Multi | 16,425 |
| Netvor: |
855.080461 vzorků za minutu
|
| Vrakoviště: |
546.636998 vzorků za minutu
|
| Třída: |
394.441850 vzorků za minutu
|
| GPU Pi 3.2 1 miliarda | 0.394 sekund |
| GPU Pi 3.3 1 miliarda | 0.317 sekund |
Za zmínku stojí, že takový působivý výkon se nepromítá jen do rychlosti, ale má také vliv na praktické využití umělé inteligence. Díky rychlejšímu přeškolení a doladění mohou firmy výrazně zlepšit svou agilitu, což jim umožní rychle reagovat na změny na trhu, potřeby zákazníků a interní požadavky. Například designové týmy mohou vyhodnocovat a zdokonalovat koncepty v reálném čase, čímž se výrazně zkrátí doba uvedení na trh, nebo týmy pro dodržování předpisů mohou průběžně trénovat a dolaďovat aktualizované modely s nejnovějšími zásadami a postupy pro asistenta v oblasti LLM.
Transformace provozu pomocí generativní umělé inteligence
Server Dell PowerEdge XE9680 může usnadnit generativní umělou inteligenci při transformaci několika průmyslových operací. Představte si maloobchodní scénář, kde umělá inteligence dokáže rychle generovat realistické obrázky různých konfigurací produktů nebo barevných možností na základě preferencí zákazníků, nebo stavební firmu, která vytváří vizualizace nových budov pro plánování a prodejní prezentace. Možnosti jsou fascinující.
Dell PowerEdge XE9680 nabízí fantastickou kombinaci výkonu, efektivity a všestrannosti. Je to vysoce výkonný server, který snadno zvládne náročné úlohy s umělou inteligencí. A přestože je speciálně navržen pro úlohy s umělou inteligencí, jeho funkce mu dávají potenciál být užitečný i pro jiné aplikace.
Spolu se závazkem společnosti Dell pomáhat organizacím s realizací jejich projektů umělé inteligence prostřednictvím projektu Helix je PowerEdge XE9680 zajímavou nabídkou a jednou z nejlepších hardwarových inovací, které jsme za celý rok viděli. Díky své schopnosti poskytovat surový výkon, propracovanou jemnost a správu životního cyklu na podnikové úrovni není divu, že se Dell PowerEdge XE9680 rychle stává ambiciózním favoritem mezi podnikovými servery.
Amazon