HPE ProLiant Compute DL380a Gen12 cílí na běžné podnikové týmy s umělou inteligencí, které chtějí vysokou hustotu bez nutnosti měnit konfiguraci racku. Toto 4U, vzduchem chlazené šasi se snadno instaluje, podporuje až osm grafických karet s dvojitou šířkou a nabízí sběrnici PCIe Gen5. Lze jej konfigurovat s dvěma procesory Intel Xeon 6, každý s až 144 jádry, 4 TB paměti DDR5 ve 32 modulech DIMM a šestnácti pozicemi E3.S NVMe pro vysokou propustnost a kapacitu. Cíl je přímočarý: dosáhnout inference na produkční úrovni a cíleného jemného ladění ve velkém měřítku, aniž by se muselo pouštět do oblasti kapalinového chlazení.
Pokud jde o akcelerátory, HPE ověřuje široký stack, který zahrnuje NVIDIA H200 NVL, H100 NVL, L40S, L20, L4 a RTX PRO 6000 Blackwell Server Edition, s možnostmi napájení, které podporují komponenty s vyšší spotřebou. V této recenzi se zaměřujeme na server RTX PRO 6000, který je ideálním řešením pro podnikovou umělou inteligenci. Každá karta nabízí 96 GB paměti ECC GDDR7, PCIe Gen5 x16, jádra Tensor s podporou FP4 a 600W výkon, který funguje ve vzduchem chlazených raccích. Naše sestava byla dodána se čtyřmi kartami, což je rozumný výchozí bod pro vysoce výkonnou inferenci a cílené jemné ladění s dostatečným prostorem pro škálování.
Společnost HPE doplňuje platformu o důležité provozní prvky. iLO 7 zajišťuje mimopásmové nastavení, kontrolu stavu a řízení napájení, a to na základě platformy Silicon Root of Trust – bezpečné enklávy pro integritu firmwaru – podpory 4096bitového RSA a odnímatelného modulu iLO DC-MHS, který posiluje ověřování dodavatelského řetězce. Server se také propojuje s frameworkem HPE Private Cloud AI pro správu více týmů a opakovatelné nasazení v rozsahu vozového parku.
Technické specifikace HPE ProLiant Compute DL380a Gen12
| Kategorie | Specifikace |
|---|---|
| Typ procesoru | HPE ProLiant Compute DL380a Gen12 |
| Rodina procesorů | Škálovatelné procesory Intel® Xeon® 6. generace |
| Dostupná jádra procesoru | 64 až 144 jader, v závislosti na procesoru |
| Počet procesorů | 2 |
| Rychlost procesoru | Až 2.4 GHz, v závislosti na procesoru |
| Maximální paměť | 4 TB RDIMM (2 TB na procesor) |
| Paměťové sloty | 32 sloty DIMM |
| Typ paměti | Inteligentní paměť HPE DDR5 |
| Ochrana paměti | RAS: Pokročilá ECC, online náhradní funkce, zrcadlení, funkčnost kombinovaného kanálu (lockstep), paměť HPE Fast Fault Tolerant Memory (ADDDC) |
| Podpora disku | SFF, NVMe a EDSFF |
| Bezpečnost | Volitelný uzamykatelný kryt, detekce vniknutí a integrovaný modul HPE TPM 2.0 |
| Správa infrastruktury | Standardní řešení HPE iLO s inteligentním zřizováním (integrované), standardní řešení HPE OneView (vyžaduje stažení) • Volitelné: HPE iLO Advanced a HPE OneView Advanced (vyžadovány licence) |
| napájení | Až 8 M-CRPS. Jednoduchá redundance 1+1 pro základní desku. Dvojitá redundance 2+1 pro grafické karty. |
| Rozšiřující sloty | 6 |
| Systémové ventilátory | Součástí balení jsou 4 dvourotorové a 8 jednorotorových ventilátorů s možností výměny za provozu |
| Formální faktor | 4U stojan |
| Záruka | 3. 3. 3: Záruka na server |
Návrh a sestavení serveru HPE ProLiant DL380a Gen12
HPE ProLiant Compute DL380a Gen12 je 4U rackový server s dvěma sockety určený pro vysoce výkonná a škálovatelná nasazení. S rozměry 6.88 x 17.63 x 31.60 cm kombinuje vysoký výpočetní výkon CPU a GPU s efektivním vzduchovým chlazením pro spolehlivý provoz i při vysokých pracovních zátěžích.
Šasi s hmotností mezi 82.7 kg a 137.8 kg v závislosti na konfiguraci podporuje vysokokapacitní komponenty, redundantní napájení a snadný přístup zepředu pro údržbu. Jeho konstrukce klade důraz na výkon, rozšiřitelnost a robustní řízení teploty, díky čemuž je vhodné pro podniková prostředí a datová centra.
Co se týče úložišť, HPE ProLiant DL380a Gen12 nabízí konfigurace se 4 a 8 pozicemi ve formátu SFF nebo EDSFF. Náš testovaný kus byl dodáván s přední sadou HPE DL380a Gen12 NS204i-u Front Cage Kit, která podporuje dvě bootovací zařízení NVMe M.2 s možností výměny za provozu. Šasi také obsahovalo osm 2.5palcových pozic osazených dvěma SSD disky HPE U.3 s kapacitou 15.36 TB. HPE nabízí několik možností předních pozic, což umožňuje flexibilní škálovatelnost pro rozmanité potřeby nasazení.
Jednotku lze přepravovat pomocí dvou rukojetí na každé straně, což znamená, že k bezpečnému uložení a instalaci do racku jsou zapotřebí alespoň dvě osoby. Využívá sadu lišt 2U s teleskopickými lištami, což umožňuje snadnou instalaci a údržbu v racku bez nutnosti úplného vyjmutí racku.
Na zadní straně serveru HPE ProLiant DL380a Gen12 najdete přehledné uspořádání zaměřené na proudění vzduchu, rozšiřitelnost a snadnou údržbu. Systém podporuje až osm napájecích zdrojů MCRPS (1-8) s integrovanou větrací stěnou, která udržuje optimální chlazení i při zátěži. Možnosti rozšíření jsou rozsáhlé a zahrnují několik slotů PCIe Gen5 x16 (sloty 1-6), které pojmou jak standardní, tak volitelné rozšiřující karty, a také sloty OCP A a B pro flexibilní konfigurace síťových adaptérů.
Konektivita zahrnuje vyhrazený síťový port iLO, několik portů USB 3.2 Gen 1 a port VGA pro lokální správu. Za zmínku stojí, že slot 1 je k dispozici pouze s nainstalovaným kabelem HPE DL380a Gen12 4EDSFF Direct Cable for NVD (P74716-B21) a nelze jej použít s disky SFF NVMe, zatímco slot 4 není podporován v konfiguracích se 4 nebo 8 grafickými procesory DW.
Napájení serveru HPE ProLiant DL380a Gen12 je zajištěno modulárními sadami napájecích zdrojů M-CRPS Titanium s možností výměny za provozu, přičemž mezi podporované možnosti patří modely s výkonem 1500 W (P67244-B21), 2400 W (P67252-B21) a 3200 W (P67248-B21). Systém podporuje až osm napájecích zdrojů, což umožňuje redundanci N+1 pro zajištění nepřetržitého provozu i v případě selhání napájecího modulu. V závislosti na konfiguraci grafické karty se mohou požadavky na napájení a jeho distribuce lišit. Náš testovaný kus byl vybaven pěti 2400W napájecími zdroji M-CRPS, které poskytují dostatečnou kapacitu pro podporu čtyř grafických karet systému s TDP 600 W a zároveň zachovávají spolehlivou redundanci.
Při pohledu shora dolů dovnitř HPE ProLiant DL380a Gen12 je zřejmé, že HPE navrhlo toto šasi s tepelnou strategií zaměřenou na GPU, přičemž GPU umístilo do přední části systému pro přímý a nerušený přístup k proudění vzduchu. Chladicí systém je vybaven čtyřmi ventilátory vyměnitelnými za provozu, z nichž každý je vybaven jedním dvourotorovým ventilátorem o rozměrech 92x56 mm a dvěma jednorotorovými ventilátory o rozměrech 40x28 mm. Menší ventilátory zaměřují proudění vzduchu na moduly CPU a paměti, což zajišťuje efektivní řízení teploty pro spodní komponenty. Pro srovnání, větší dvourotorové ventilátory jsou speciálně navrženy tak, aby poháněly proudění vzduchu s vysokým objemem přímo přes pole GPU. Tato vyvážená konstrukce zajišťuje optimální chlazení výpočetních i akceleračních komponent, a to i při trvalém zatížení s vysokým výkonem.
Po prozkoumání konfigurace grafických karet (GPU) byl náš počítač předem zapojen pro čtyři grafické karty PCIe 5.0, každá čistě nainstalovaná v přední kleci pro grafické karty. Systém byl konfigurován s grafickými kartami NVIDIA RTX PRO 6000 (Blackwell Server Edition, 96 GB), které jsou součástí nové profesionální řady NVIDIA optimalizované pro úlohy s umělou inteligencí, renderováním a výpočetními zátěžemi. V závislosti na sestavení může DL380a Gen12 podporovat 4 nebo 8 grafických karet s dvojitou šířkou nebo až 16 akcelerátorů s jednou šířkou, což nabízí flexibilitu pro širokou škálu podnikových a AI nasazení.
Mezi podporované grafické karty pro tuto platformu patří:
- NVIDIA RTX PRO 6000 Serverová edice (96 GB)
- Grafická karta NVIDIA H200 (141 GB)
- Grafická karta NVIDIA H100 (94 GB)
- NVIDIA L40S (48 GB)
- NVIDIA L20 (48 GB)
- NVIDIA L4 (24 GB)
Toto flexibilní rozložení GPU ve spojení s vysokorychlostními linkami PCIe Gen5 zajišťuje, že DL380a Gen12 je připravena jak pro náročné inferenční úlohy, tak pro rozsáhlá prostředí pro trénink umělé inteligence. Pokud se podíváme dále dovnitř šasi, s nainstalovaným chladicím krytem, vidíme promyšlený inženýrský přístup HPE k řízení proudění vzduchu. Kryt se vyznačuje přesně tvarovanou přepážkou, která efektivně směruje vzduch mezi procesory, paměťovými moduly a VRM, čímž zajišťuje rovnoměrné chlazení v celém systému.
Při výběru chladičů CPU společnost HPE navrhla model DL380a Gen12 s ohledem na tepelnou rovnováhu. Každý procesor Xeon 6 je vybaven vysokým chladičem s vysokou hustotou, který je navržen tak, aby zvládal tepelný výkon samotného CPU a dodatečné teplo generované grafickými kartami umístěnými v přední části šasi. Tato konstrukce zajišťuje konzistentní chladicí výkon i při vysokém smíšeném zatížení, kdy výfuk z grafické karty může zvýšit okolní teplotu v okolí CPU. Pokud jsou osazeny grafické karty s vysokým výkonem, kombinace vyšších chladičů a konstrukce proudění vzduchu HPE zepředu dozadu poskytuje potřebnou plochu povrchu a chladicí účinnost pro efektivní zvládání dodatečné tepelné zátěže.
Přehled ILO 7
Jak již bylo zmíněno, systém obsahuje vyhrazený port iLO, který poskytuje možnosti správy mimo pásmo pro kompletní ovládání a monitorování serveru. Toto zařízení je dodáváno s novým rozhraním HPE iLO 7, které správcům poskytuje přístup k aktualizovanému rozhraní a vylepšeným funkcím, integrovaným s HPE Compute Ops Management pro efektivnější konfiguraci, monitorování a správu životního cyklu. Níže je uvedena nová přihlašovací obrazovka HPE iLO 7 z našeho ukázkového systému.
Počínaje řídicím panelem vidíme, že HPE iLO 7 nabízí modernizované rozhraní, které okamžitě zobrazuje stav systému a klíčové indikátory jeho funkčnosti. Hlavní panel poskytuje přehled o stavu napájení hostitele, jeho funkčnosti a připojení k HPE Compute Ops Management. Vpravo se pro rychlý přehled zobrazují obecné informace o systému, jako je IP adresa iLO, název hostitele a typ licence.
Řídicí panel shromažďuje základní metriky – jako je redundance ventilátorů, stav zdroje napájení a údaje o teplotě – do přehledného, barevně odlišeného rozvržení, což usnadňuje okamžité posouzení stavu serveru. Virtuální média a vzdálený přístup ke konzoli jsou také přístupné přímo z hlavní stránky, což zjednodušuje běžné úlohy vzdálené správy bez nutnosti další navigace.
Na kartě Firmware nabízí HPE iLO 7 přehledný a uspořádaný přehled všech komponent a úloh správy aktualizací. Rozhraní zobrazuje seznam inventáře firmwaru, aktivních instalačních front a výsledky ověření v přehledném rozvržení založeném na kartách, které se snadno ovládá. Správci mohou rychle spouštět aktualizace, nahrávat balíčky do repozitáře iLO nebo vytvářet instalační sady pro dávkové nasazení.
Ověřování firmwaru a správa repozitářů jsou integrovány přímo do tohoto zobrazení, což uživatelům umožňuje ověřit integritu a udržovat konzistenci verzí napříč komponentami. Nabídka Rychlé akce vpravo zjednodušuje základní úkoly, jako je aktualizace firmwaru nebo nahrávání nových souborů. Karta Nastavení firmwaru poskytuje kontrolu nad zásadami pro downgrade a akceptací balíčků třetích stran.
V sekci Hostitel poskytuje HPE iLO 7 rychlý přístup ke kritickým funkcím správy serveru, včetně ovládání napájení, virtuálních médií, stavu hardwaru a výkonu systému. Správci mohou z tohoto rozhraní sledovat stav redundance hardwaru v reálném čase, přistupovat k integrovanému protokolu správy nebo spouštět vzdálenou konzoli. Rozvržení také zahrnuje rychlé akce, jako je plynulé vypnutí, zapínání a vypínání napájení a resetování, což umožňuje plnou vzdálenou správu systému bez fyzického přístupu.
Pravý panel zobrazuje nastavení hostitele, včetně stavu TPM, konfigurace zásad platformy a informací o hardwarových modulech. Celkově tato část zdůrazňuje roli iLO 7 jako centralizovaného řídicího centra, které umožňuje správcům bezpečně spravovat napájení, monitorovat události a udržovat provozní dohled v jednom zobrazení.
V zobrazení Hostitel > Hardware vidíme grafické karty nainstalované v systému. Jak již bylo uvedeno, jednotka je vybavena čtyřmi grafickými kartami NVIDIA RTX PRO 6000 Blackwell, přičemž každá z nich je hlášena jako povolená a funguje normálně. iLO 7 poskytuje podrobné informace o hardwaru, včetně čísel modelů, čísel dílů a sériových čísel, což umožňuje správcům na první pohled ověřit stav komponent.
Na kartě Zabezpečení (Security) HPE iLO 7 konsoliduje všechny klíčové ovládací prvky související s ochranou systému a správou přístupu. Panel přehledu poskytuje podrobný přehled o celkovém stavu zabezpečení, zvýrazňuje úrovně rizik, zámky konfigurace a stav certifikátů. Odtud mohou administrátoři spravovat nastavení šifrování, metody ověřování a certifikáty TLS a také konfigurovat bezpečné mazání a vzdálenou správu klíčů.
Rozhraní jasně označuje oblasti, které vyžadují pozornost, jako jsou certifikáty s vlastním podpisem nebo nenakonfigurovaná správa klíčů, a zároveň v příslušných případech potvrzuje bezpečný provoz. Bezpečnostní protokoly, zásady správy uživatelů a řízení přístupu jsou snadno dostupné, což správcům poskytuje komplexní přehled o bezpečnostním stavu systému přímo z prostředí iLO.
Na kartě Aplikace HPE poskytuje iLO 7 přístup k integrovaným nástrojům, které vylepšují nasazení serverů a správu jejich životního cyklu. Z tohoto zobrazení mohou administrátoři spustit Intelligent Provisioning, vestavěný nástroj určený ke zjednodušení instalace operačního systému, aktualizací firmwaru a konfigurace systému bez nutnosti externích médií.
Karta Nastavení iLO shrnuje všechny konfigurační a administrační možnosti pro správu rozhraní iLO. Odtud mohou administrátoři ovládat přístup uživatelů, konfigurace síťových portů, metody ověřování a chování protokolování. Nabídka také obsahuje možnosti pro řešení problémů, vynucování zásad, správu licencí a synchronizaci času.
Rychlé akce, jako je zálohování nebo obnovení konfigurace iLO a provedení resetu, jsou pohodlně dostupné vpravo, což pomáhá zefektivnit úlohy údržby. Rozvržení odráží zbytek moderního rozhraní iLO 7 založeného na kartách a poskytuje přehledný a organizovaný způsob správy zabezpečení, připojení a provozních parametrů z jednoho centralizovaného místa.
Testování výkonu
Abychom vyhodnotili reálné schopnosti serveru DL380a Gen12, provedli jsme komplexní sadu výkonnostních testů, které zahrnovaly jak inferenci umělé inteligence, tak obecné výpočetní úlohy. Patří mezi ně online benchmarky vLLM pro modely velkých jazyků (LLM) a benchmarky Phoronix Test Suite pro měření propustnosti CPU, šířky pásma paměti, efektivity webových služeb a kryptografického výkonu.
Konfigurace systému
- CPU: 2x procesor Intel Xeon 6527P
- Paměť: 16 x HPE 64GB 2Rx4 PC5-3400B-R Smart Kit
- GPU: 4× grafická karta NVIDIA RTX PRO 6000 (96 GB)
- Skladování: 2 x 15.63TB PM1733a U.3
Online poskytování vLLM – Výkon inference LLM
vLLM je nejoblíbenější vysoce výkonný inferenční a obslužný engine pro LLM. Online serving benchmark vLLM je nástroj pro hodnocení výkonu, který měří reálné obslužné schopnosti tohoto inferenčního enginu za souběžných požadavků. Simuluje produkční zátěž odesíláním požadavků na běžící server vLLM s konfigurovatelnými parametry, včetně rychlosti požadavků, délky vstupních/výstupních operací a počtu souběžných klientů. Benchmark měří klíčové metriky, včetně propustnosti (tok/s), času do prvního tokenu a času na výstupní token, což pomáhá uživatelům pochopit, jak si vLLM vede za různých podmínek zátěže.
Testovali jsme výkon inference napříč třemi reprezentativními modely s různými škálami a kvantizačními přístupy a vyhodnotili, jak čtyři grafické karty NVIDIA RTX PRO 6000 serveru HPE ProLiant DL380a Gen12 zvládají produkční inferenční úlohy.
Výkon hustého modelu
Husté modely představují konvenční architekturu LLM, kde všechny parametry a aktivace jsou zapojeny během inference. Vyhodnotili jsme dvě konfigurace hustých modelů: Llama-2-70b-chat-hf a Llama-3.2-90B-Vision-Instruct.
Výkon Llama-2-70B-Chat
Při souběžnosti jednoho uživatele (BS=1) s TP=4 dosahuje model 32.89 tok/s na uživatele s TPOT 30.18 ms. Při BS=8 dosahuje výkon 15.68 tok/s na uživatele s celkovou propustností 433.62 tok/s a TPOT 35.98 ms. Při škálování na BS=32 dosahuje celková propustnost 741.62 tok/s při zachování 8.00 tok/s na uživatele s TPOT 43.44 ms.
Výkon Llama-3.2-90B-Vision-Instruct
Při BS=1 s TP=4 model poskytuje 20.59 tok/s na uživatele s TPOT 38.27 ms. Při BS=16 se výkon škáluje na 7.20 tok/s na uživatele s celkovou propustností 806.14 tok/s a TPOT 54.98 ms. Maximální celková propustnost 1372.21 tok/s je dosažena při BS=128, což představuje 2.59 tok/s na uživatele s TPOT 122.75 ms.
Výkon datových typů s mikroškálováním
Mikroškálování představuje pokročilý kvantizační přístup, který aplikuje jemnozrnné škálovací faktory na malé bloky vah, spíše než rovnoměrnou kvantizaci napříč velkými skupinami parametrů. Formát NVFP4 od společnosti NVIDIA implementuje tuto techniku prostřednictvím blokované reprezentace s plovoucí desetinnou čárkou, kde každý mikroškálový blok o 8–32 hodnotách sdílí společný exponent jako škálovací faktor. Tento granulární přístup zachovává numerickou přesnost a zároveň dosahuje 4bitové reprezentace, čímž se zachovává dynamický rozsah kritický pro transformátorové architektury. Formát se integruje s architekturou Tensor Core od společnosti NVIDIA na grafické kartě RTX PRO 6000, což umožňuje efektivní výpočet se smíšenou přesností s dekompresí za chodu během maticových operací.
Výkon GPT-OSS-120B
Model GPT-OSS-120B od OpenAI jsme vyhodnotili pomocí kvantizace NVFP4. Při souběžném provozu jednoho uživatele s TP=2 dosahuje model 176.09 tok/s na uživatele s TPOT 5.46 ms, což je nejnižší latence v naší testovací sadě. Při BS=4 s TP=4 dosahuje výkon 105.79 tok/s na uživatele a zároveň poskytuje celkovou propustnost 1155.94 tok/s s TPOT 7.79 ms. Při BS=32 s TP=4 se propustnost škáluje na 47.54 tok/s na uživatele a celkem 3956.44 tok/s s TPOT 13.86 ms. Maximální celková propustnost 4015.77 tok/s je dosažena při BS=64, což představuje 25.38 tok/s na uživatele s TPOT 14.78 ms.
Benchmarky Phoronixu
Phoronix Test Suite je open-source automatizovaná benchmarkingová platforma, která podporuje přes 450 testovacích profilů a více než 100 testovacích sad prostřednictvím OpenBenchmarking.org. Zajišťuje vše od instalace závislostí až po spouštění testů a sběr výsledků, což ji činí ideální pro porovnávání výkonu, validaci hardwaru a průběžnou integraci. Zaměříme se na následující testy: Stream, 7-Zip, sestavení linuxového jádra, Apache a OpenSSL.
Šířka pásma paměti streamu
V benchmarku Stream, který měří hrubou propustnost paměti, dosáhl server HPE DL380a Gen12 působivých 542 GB/s, což demonstruje schopnost platformy udržovat vysoké rychlosti přenosu dat při nepřetržitém zatížení. Tato úroveň šířky pásma činí systém obzvláště efektivním pro úlohy, jako je modelování dat, simulace a inference s využitím umělé inteligence, kde se velké datové sady musí rychle přesouvat mezi pamětí a výpočetními zdroji.
7-zipová komprese
Kompresní test 7-Zip naměřil 305 tisíc MIP, což zdůrazňuje vysokou vícevláknovou efektivitu systému pro výpočetně náročné kompresní a dekompresní operace. Díky těmto výsledkům se disk DL380a Gen12 skvěle hodí do prostředí zahrnujících časté balení dat, archivační úlohy nebo zálohovací pracovní postupy, které se spoléhají na konzistentní a opakovatelný výkon CPU.
Kompilace jádra
Při kompilaci plného linuxového jádra (allmodconfig) dokončil DL380a Gen12 úkol za 316 sekund. Tento benchmark odráží schopnost systému snadno zvládat paralelní úlohy s velkým množstvím kódu. Rychlejší kompilační výkon se přímo promítá do kratších časů sestavení a vyšší rychlosti iterací pro vývojáře pracující v rozsáhlém softwaru nebo v prostředích CI/CD.
Apache Web Server
V oblasti výkonu webových služeb si server DL380a Gen12 v benchmarku Apache udržel 94 348 požadavků za sekundu. Tento výsledek demonstruje vyvážené zpracování I/O operací a silnou efektivitu mezipaměti, což zajišťuje propustnost a odezvu potřebnou pro podnikové webové aplikace, virtualizační front-endy nebo hosting interních služeb.
Ověření OpenSSL
Kryptografický výkon byl stejně silný, DL380a Gen12 ověřil v OpenSSL 803 miliard operací za sekundu. To ukazuje schopnost systému spravovat šifrování, ověřování a zabezpečenou komunikaci ve velkém měřítku.
| Benchmarky Phoronixu | HPE ProLiant DL380a Gen 12 (2x Intel Xeon 6527P) |
| Domů | 542,720.7 MB / s |
| 7-ZIP | 806 375 MIP/s |
| Kompilace jádra (allmod) | 316.166 sekund |
| Apache (požadavky za sekundu) | 48 729,63 R/s |
| OpenSSL | 803 597 895 087 Ověření |
Závěr
HPE ProLiant DL380a Gen12 vyniká jako jeden z nejpraktičtějších a nejvyváženějších serverů s umělou inteligencí určených pro mainstreamový trh podnikových systémů s umělou inteligencí. Jeho 4U vzduchem chlazený design nabízí značnou výpočetní hustotu s duálními procesory Xeon 6, podporu až 8 dvojitě šířkových nebo 16 jednoduchých grafických karet a 16 pozic E3.S NVMe, to vše při zachování spolehlivosti a snadné údržby. Inženýrský přístup HPE k proudění vzduchu a tepelné rovnováze zajišťuje konzistentní výkon i při vysokých pracovních zátěžích, což dokazuje, že pokročilá akcelerace umělé inteligence může stále prosperovat v tradičních vzduchem chlazených prostředích.
Začlenění iLO 7 přináší významné zlepšení správy, což je obrovská výhoda pro dodavatele serverů první úrovně, jako je HPE. Modernizované rozhraní, integrace s HPE Compute Ops Management a podrobná hardwarová telemetrie dělají vzdálenou správu intuitivní a efektivní. Každá sekce – Dashboard, Firmware, Hostitel, Zabezpečení, Aplikace a Nastavení – odráží posun HPE směrem k čistšímu a cloudově integrovanému prostředí, aniž by byla obětována lokální kontrola, na které jsou podnikové týmy závislé.
V testování výkonu server dosáhl vynikajících výsledků. Čtyři grafické karty RTX PRO 6000 dosáhly působivé propustnosti jak v hustých, tak i v mikroškálovaných modelech LLM, přičemž výkon obsluhy vLLM konkuruje systémům s kapalinovým chlazením. Benchmarky CPU od Phoronixu dále zdůrazňují jeho vyváženost s šířkou pásma paměti přes 540 GB/s, 94k RPS v Apache a více než 800 miliardami ověření OpenSSL za sekundu, což ukazuje na sílu jak v oblasti umělé inteligence, tak v oblasti univerzálních výpočtů.
Cíl společnosti HPE v oblasti designu je jasný: poskytovat vysoce hustý a produkčně připravený výkon umělé inteligence s využitím vzduchového chlazení, které se hodí do stávající rackové a napájecí infrastruktury. Pro týmy datových center, které hledají spolehlivé, bezpečné a snadno spravovatelné výpočetní prostředky ve vzduchem chlazeném provedení, je DL380a Gen12 schopným a progresivním řešením pro rostoucí mainstreamový trh s umělou inteligencí.
Amazon