De HPE ProLiant Compute DL380a Gen12 richt zich op mainstream enterprise AI-teams die dichtheid willen zonder hun rackconfiguraties aan te passen. Deze 4U, luchtgekoelde behuizing is eenvoudig te installeren, ondersteunt maximaal acht dubbelbrede GPU's en biedt overal PCIe Gen5. Hij kan worden geconfigureerd met twee Intel Xeon 6 CPU's, elk met maximaal 144 cores, 4 TB DDR5 verdeeld over 32 DIMM's en zestien E3.S NVMe-bays voor een hoge doorvoer en capaciteit. Het doel is eenvoudig: productiekwaliteit inferentie en gerichte finetuning op schaal bereiken zonder de vloeistofkoeling te hoeven gebruiken.
Voor accelerators valideert HPE een brede stack die NVIDIA H200 NVL, H100 NVL, L40S, L20, L4 en RTX PRO 6000 Blackwell Server Edition omvat, met PSU-opties die componenten met een hoger verbruik ondersteunen. Voor deze review concentreren we ons op de RTX PRO 6000 Server, die een praktische sweet spot biedt voor AI voor bedrijven. Elke kaart beschikt over 96 GB ECC GDDR7, PCIe Gen5 x16, FP4-compatibele Tensor-cores en een 600W-envelope die werkt in luchtgekoelde racks. Onze installatie werd geleverd met vier kaarten, wat een verstandig startpunt is voor high-throughput inferentie en gerichte finetuning, met ruimte voor schaalbaarheid.
HPE completeert het platform met de operationele onderdelen die ertoe doen. iLO 7 verzorgt out-of-band installatie, status en stroomregeling, verankerd door de Silicon Root of Trust – een veilige enclave voor firmware-integriteit – ondersteuning voor 4096-bits RSA en een afneembare DC-MHS iLO-module die de verificatie van de toeleveringsketen versterkt. De server is ook gekoppeld aan HPE's Private Cloud AI-framework voor multi-team governance en herhaalbare implementaties op vlootschaal.
HPE ProLiant Compute DL380a Gen12 – Technische specificaties
| Categorie | Specificaties |
|---|---|
| Type processor | HPE ProLiant Compute DL380a Gen12 |
| Processorfamilie | 6e generatie Intel® Xeon® schaalbare processoren |
| Beschikbare processorkernen | 64 tot 144 cores, afhankelijk van de processor |
| Aantal processors | 2 |
| Processor snelheid | Tot 2.4 GHz, afhankelijk van de processor |
| Maximaal geheugen | 4 TB RDIMM (2 TB per processor) |
| Geheugenslots | 32 DIMM-sleuven |
| Type geheugen | HPE DDR5 slim geheugen |
| Geheugenbescherming | RAS: Geavanceerde ECC, online reserve, mirroring, gecombineerde kanaal (lockstep) functionaliteit, HPE Fast Fault Tolerant Memory (ADDDC) |
| Drive-ondersteuning | SFF NVMe en EDSFF |
| Security | Optionele vergrendelingsrand, inbraakdetectie en ingebouwde HPE TPM 2.0 |
| Infrastructuurbeheer | HPE iLO Standard met Intelligent Provisioning (ingebed), HPE OneView Standard (download vereist) • Optioneel: HPE iLO Advanced en HPE OneView Advanced (licenties vereist) |
| Stroomvoorziening | Tot 8 M-CRPS. Enkele 1+1 redundantie voor het moederbord. Dubbele 2+1 redundantie voor GPU's. |
| uitbreidingssleuven | 6 |
| Systeemventilatoren | Inclusief 4 hot-plug ventilatoren met dubbele rotor en 8 ventilatoren met enkele rotor |
| Vormfactor | 4U rek |
| Garantie | 3/3/3: Servergarantie |
HPE ProLiant DL380a Gen12 ontwerp en bouw
De HPE ProLiant Compute DL380a Gen12 is een 4U rackserver met twee sockets, ontworpen voor krachtige, schaalbare implementaties. Met afmetingen van 6.88 x 17.63 x 31.60 cm combineert hij compacte CPU- en GPU-rekenkracht met efficiënte luchtkoeling voor betrouwbare werking onder zware workloads.
Met een gewicht tussen 82.7 en 137.8 kg, afhankelijk van de configuratie, ondersteunt de behuizing componenten met een hoge capaciteit, redundante voeding en eenvoudige toegang aan de voorzijde voor onderhoudsgemak. Het ontwerp legt de nadruk op prestaties, uitbreidbaarheid en robuust thermisch beheer, waardoor hij geschikt is voor zakelijke en datacenteromgevingen.

De unit kan worden vervoerd met behulp van twee handgrepen aan elke kant, wat betekent dat er minimaal twee personen nodig zijn om de unit veilig in het rack te plaatsen en te installeren. De unit maakt gebruik van een 2U-railkit met telescopische rails, wat zorgt voor een soepele installatie en onderhoud in het rack zonder dat het hele rack verwijderd hoeft te worden.

Connectiviteit omvat een speciale iLO-netwerkpoort, diverse USB 3.2 Gen 1-poorten en een VGA-poort voor lokaal beheer. Het is belangrijk om te weten dat sleuf 1 alleen beschikbaar is wanneer de HPE DL380a Gen12 4EDSFF Direct Cable voor NVD (P74716-B21) is geïnstalleerd en niet kan worden gebruikt met SFF NVMe-schijven, terwijl sleuf 4 niet wordt ondersteund in configuraties met 4 of 8 DW GPU's.
De HPE ProLiant DL380a Gen12 wordt van stroom voorzien via modulaire M-CRPS Titanium Hot Plug Power Supply Kits, met ondersteunde opties zoals de 1500W (P67244-B21), 2400W (P67252-B21) en 3200W (P67248-B21) modellen. Het systeem ondersteunt maximaal acht voedingen, wat N+1-redundantie mogelijk maakt om continue werking te garanderen, zelfs bij een storing van een voedingsmodule. Afhankelijk van de GPU-configuratie kunnen de stroomvereisten en -distributie variëren. Ons testmodel was uitgerust met vijf 2400W M-CRPS-voedingen, die voldoende capaciteit bieden om de vier 600W TDP GPU's van het systeem te ondersteunen, met behoud van betrouwbare redundantie.

Na het bekijken van de GPU-configuratie bleek onze unit voorbedraad te zijn voor vier PCIe 5.0 GPU's, elk netjes geïnstalleerd in de voorste GPU-kooi. Het systeem was geconfigureerd met NVIDIA RTX PRO 6000 GPU's (Blackwell Server Edition, 96 GB), onderdeel van NVIDIA's nieuwe professionele line-up, geoptimaliseerd voor AI, rendering en rekenkracht. Afhankelijk van de build kan de DL380a Gen12 4 of 8 dual-width GPU's of maximaal 16 single-width accelerators ondersteunen, wat flexibiliteit biedt voor een breed scala aan enterprise- en AI-implementaties.
Ondersteunde GPU's voor dit platform zijn onder meer:
- NVIDIA RTX PRO 6000 Server Edition (96 GB)
- NVIDIA H200 NVL (141GB)
- NVIDIA H100 NVL (94GB)
- NVIDIA L40S (48GB)
- NVIDIA L20 (48GB)
- NVIDIA L4 (24GB)
Deze flexibele GPU-indeling, gecombineerd met PCIe Gen5-lanes met hoge bandbreedte, zorgt ervoor dat de DL380a Gen12 klaar is voor zowel intensieve inferentietaken als grootschalige AI-trainingsomgevingen. Verder naar achteren in de behuizing, met de geïnstalleerde koelmantel, zien we HPE's doordachte technische aanpak van luchtstroombeheer. De mantel is voorzien van een nauwkeurig gevormd schotontwerp dat de lucht efficiënt over de CPU's, geheugenmodules en VRM's leidt, wat zorgt voor een gelijkmatige koeling in het hele systeem.

ILO 7 Overzicht
Zoals vermeld, beschikt het systeem over een speciale iLO-poort die out-of-band beheermogelijkheden biedt voor volledige servercontrole en -bewaking. Deze box wordt geleverd met de nieuwe HPE iLO 7-interface, die beheerders toegang biedt tot een vernieuwde interface en verbeterde functionaliteit, geïntegreerd met HPE Compute Ops Management voor gestroomlijnde configuratie, bewaking en levenscyclusbeheer. Hieronder ziet u het nieuwe HPE iLO 7-inlogscherm van ons voorbeeldsysteem.
Beginnend met het dashboard, zien we dat HPE iLO 7 een gemoderniseerde interface heeft die direct de systeemstatus en belangrijke statusindicatoren weergeeft. Het hoofdpaneel biedt een overzicht van de hostvoedingsstatus, de status en de verbindingsstatus met HPE Compute Ops Management. Rechts wordt algemene systeeminformatie weergegeven, zoals het iLO IP-adres, de hostnaam en het licentietype, voor snelle referentie.
Het dashboard consolideert essentiële gegevens, zoals ventilatorredundantie, de status van de voeding en temperatuurmetingen, in een duidelijke, kleurgecodeerde lay-out, waardoor u de servercondities in één oogopslag kunt beoordelen. Virtuele media en externe consoletoegang zijn ook rechtstreeks toegankelijk vanaf de hoofdpagina, waardoor veelvoorkomende taken voor extern beheer worden gestroomlijnd zonder extra navigatie.
Op het tabblad Firmware biedt HPE iLO 7 een duidelijk en overzichtelijk overzicht van alle componenten en updatebeheertaken. De interface toont de firmware-inventaris, actieve installatiewachtrijen en verificatieresultaten in een kaartgebaseerde lay-out die eenvoudig te navigeren is. Beheerders kunnen snel updates starten, pakketten uploaden naar de iLO-repository of installatiesets maken voor batch-implementatie.
Firmwareverificatie en repositorybeheer zijn rechtstreeks in deze weergave ingebouwd, zodat gebruikers de integriteit kunnen controleren en de versieconsistentie tussen componenten kunnen behouden. Het menu Snelle acties aan de rechterkant stroomlijnt essentiële taken, zoals het bijwerken van firmware of het uploaden van nieuwe bestanden. De kaart Firmware-instellingen biedt controle over downgradebeleid en de acceptatie van pakketten van derden.
In het Host-gedeelte biedt HPE iLO 7 snelle toegang tot kritieke serverbeheerfuncties, waaronder stroomregeling, virtuele media, hardwarestatus en systeemprestaties. Beheerders kunnen de realtime hardwareredundantiestatus bekijken, het geïntegreerde beheerlogboek openen of de externe console rechtstreeks vanuit deze interface starten. De interface bevat ook snelle acties zoals smooth shutdown, power cycling en resetfuncties, waardoor volledige bediening van het systeem op afstand mogelijk is zonder fysieke toegang.
Het rechterpaneel toont hostinstellingen, waaronder TPM-status, platformbeleidsconfiguratie en informatie over hardwaremodules. In het algemeen benadrukt dit gedeelte de rol van iLO 7 als gecentraliseerd controlecentrum, waarmee beheerders veilig stroom kunnen beheren, gebeurtenissen kunnen bewaken en operationeel toezicht kunnen houden in één overzicht.

Op het tabblad Beveiliging consolideert HPE iLO 7 alle belangrijke controles met betrekking tot systeembeveiliging en toegangsbeheer. Het overzichtspaneel biedt een algemeen overzicht van de algehele beveiligingsstatus, met aandacht voor risiconiveaus, configuratievergrendelingen en certificaatstatus. Van hieruit kunnen beheerders encryptie-instellingen, authenticatiemethoden en TLS-certificaten beheren, evenals veilig wissen en extern sleutelbeheer.
De interface geeft duidelijk aan welke gebieden aandacht vereisen, zoals zelfondertekende certificaten of niet-geconfigureerd sleutelbeheer, terwijl de veilige werking waar nodig wordt bevestigd. Beveiligingslogboeken, gebruikersbeheerbeleid en toegangscontroles zijn gemakkelijk toegankelijk, waardoor beheerders direct vanuit de iLO-omgeving een volledig overzicht hebben van de beveiligingsstatus van het systeem.
Onder het tabblad HPE Apps biedt iLO 7 toegang tot geïntegreerde tools die serverimplementatie en levenscyclusbeheer verbeteren. Vanuit deze weergave kunnen beheerders Intelligent Provisioning starten, een ingebouwde tool die is ontworpen om de installatie van het besturingssysteem, firmware-updates en systeemconfiguratie te vereenvoudigen zonder dat externe media nodig zijn.
Het tabblad iLO-instellingen bundelt alle configuratie- en beheeropties voor het beheer van de iLO-interface. Van hieruit kunnen beheerders gebruikerstoegang, netwerkpoortconfiguraties, authenticatiemethoden en loggedrag beheren. Het menu bevat ook opties voor probleemoplossing, beleidshandhaving, licentiebeheer en tijdsynchronisatie.
Snelle acties, zoals het maken van een back-up of herstellen van de iLO-configuratie en het uitvoeren van een reset, zijn handig beschikbaar aan de rechterkant, wat helpt bij het stroomlijnen van onderhoudstaken. De lay-out weerspiegelt de rest van de moderne, kaartgebaseerde interface van iLO 7 en biedt een overzichtelijke, overzichtelijke manier om beveiliging, connectiviteit en operationele parameters te beheren vanaf één centrale locatie.
Performance Testing
Om de praktische mogelijkheden van de DL380a Gen12 te evalueren, hebben we een uitgebreide reeks prestatietests uitgevoerd die zowel AI-inferentie als algemene rekenworkloads omvatten. Deze omvatten vLLM online serving benchmarks voor grote taalmodellen (LLM's) en Phoronix Test Suite benchmarks om CPU-doorvoer, geheugenbandbreedte, webserving-efficiëntie en cryptografische prestaties te meten.
Systeemconfiguratie
- CPU: 2 x Intel Xeon 6527P CPU
- Geheugen: 16 x HPE 64GB 2Rx4 PC5-3400B-R Smart Kit
- GPU: 4 x NVIDIA RTX PRO 6000 (96 GB)
- Opslag: 2 x 15.63 TB PM1733a U.3
vLLM Online Serving – LLM Inferentie Prestaties
vLLM is de populairste high-throughput inferentie- en serverengine voor LLM's. De vLLM online serverbenchmark is een prestatie-evaluatietool die de real-world servercapaciteiten van deze inferentie-engine meet bij gelijktijdige aanvragen. De benchmark simuleert productieworkloads door aanvragen te versturen naar een actieve vLLM-server met configureerbare parameters, zoals de aanvraagsnelheid, invoer-/uitvoerlengtes en het aantal gelijktijdige clients. De benchmark meet belangrijke statistieken, zoals doorvoer (tok/s), tijd tot eerste token en tijd per uitvoertoken, waardoor gebruikers beter begrijpen hoe vLLM presteert onder verschillende belastingsomstandigheden.
We hebben de inferentieprestaties getest op drie representatieve modellen met verschillende schalen en kwantificeringsbenaderingen. Daarbij hebben we geëvalueerd hoe de vier NVIDIA RTX PRO 6000 GPU's van de HPE ProLiant DL380a Gen12 productie-inferentiewerklasten verwerken.
Dichte modelprestaties
Dichte modellen vertegenwoordigen de conventionele LLM-architectuur, waarbij alle parameters en activeringen tijdens de inferentie worden geactiveerd. We evalueerden twee dichte modelconfiguraties: Llama-2-70b-chat-hf en Llama-3.2-90B-Vision-Instruct.
Llama-2-70B-Chat-prestaties
Bij gelijktijdigheid voor één gebruiker (BS=1) met TP=4 behaalt het model 32.89 tok/s per gebruiker met een TPOT van 30.18 ms. Bij BS=8 bereikt de prestatie 15.68 tok/s per gebruiker met een totale doorvoer van 433.62 tok/s en een TPOT van 35.98 ms. Bij opschaling naar BS=32 bereikt de totale doorvoer 741.62 tok/s, terwijl 8.00 tok/s per gebruiker behouden blijft met een TPOT van 43.44 ms.
Llama-3.2-90B-Vision-Instruct Prestaties
Bij BS=1 met TP=4 levert het model 20.59 tok/s per gebruiker met een TPOT van 38.27 ms. Bij BS=16 schalen de prestaties naar 7.20 tok/s per gebruiker met een totale doorvoer van 806.14 tok/s en een TPOT van 54.98 ms. De maximale totale doorvoer van 1372.21 tok/s wordt bereikt bij BS=128, met een doorvoer van 2.59 tok/s per gebruiker met een TPOT van 122.75 ms.
Microschaling Datatype Prestaties
Microscaling is een geavanceerde kwantiseringsmethode die fijnmazige schaalfactoren toepast op kleine blokken gewichten in plaats van uniforme kwantisering over grote parametergroepen. NVIDIA's NVFP4-formaat implementeert deze techniek via een geblokkeerde floating-point representatie, waarbij elk microschaalblok van 8-32 waarden een gemeenschappelijke exponent als schaalfactor deelt. Deze gedetailleerde aanpak behoudt de numerieke precisie en bereikt tegelijkertijd een 4-bits representatie, waardoor het dynamische bereik dat cruciaal is voor transformerarchitecturen behouden blijft. Het formaat integreert met NVIDIA's Tensor Core-architectuur op de RTX PRO 6000, wat efficiënte berekeningen met gemengde precisie mogelijk maakt met on-the-fly decompressie tijdens matrixbewerkingen.
GPT-OSS-120B-prestaties
We hebben het GPT-OSS-120B-model van OpenAI geëvalueerd met behulp van NVFP4-kwantificering. Bij gelijktijdige verwerking door één gebruiker met TP=2 behaalt het model 176.09 tok/s per gebruiker met een TPOT van 5.46 ms, de laagste latentie in onze testsuite. Bij BS=4 met TP=4 bereikt de prestatie 105.79 tok/s per gebruiker, met een totale doorvoer van 1155.94 tok/s bij een TPOT van 7.79 ms. Bij BS=32 met TP=4 schaalt de doorvoer naar 47.54 tok/s per gebruiker en 3956.44 tok/s in totaal bij een TPOT van 13.86 ms. De maximale totale doorvoer van 4015.77 tok/s wordt bereikt bij BS=64, met een doorvoer van 25.38 tok/s per gebruiker bij een TPOT van 14.78 ms.
Phoronix-benchmarks
Phoronix Test Suite is een open-source, geautomatiseerd benchmarkplatform dat meer dan 450 testprofielen en meer dan 100 testsuites ondersteunt via OpenBenchmarking.org. Het verwerkt alles, van het installeren van afhankelijkheden tot het uitvoeren van tests en het verzamelen van resultaten, waardoor het ideaal is voor prestatievergelijkingen, hardwarevalidatie en continue integratie. We richten ons op de volgende tests: Stream, 7-Zip, Linux kernel build, Apache en OpenSSL tests.
Streamgeheugenbandbreedte
In de Stream-benchmark, die de ruwe geheugendoorvoer meet, behaalde de HPE DL380a Gen12 een indrukwekkende snelheid van 542 GB/s, wat aantoont dat het platform hoge gegevensoverdrachtssnelheden kan handhaven onder continue belasting. Deze bandbreedte maakt het systeem bijzonder effectief voor workloads zoals datamodellering, simulatie en AI-inferentie, waarbij grote datasets snel moeten worden verplaatst tussen geheugen en rekenkracht.
Compressie met 7 ritsen
De 7-Zip-compressietest mat 305 kMIP's, wat de sterke multithreaded efficiëntie van het systeem voor rekenintensieve compressie- en decompressiebewerkingen onderstreept. Deze resultaten maken de DL380a Gen12 uitermate geschikt voor omgevingen met frequente datapackaging, archiveringstaken of back-upworkflows die afhankelijk zijn van consistente, herhaalbare CPU-prestaties.
Kernel compileren
Bij het compileren van een volledige Linux-kernel (allmodconfig) voltooide de DL380a Gen12 de taak in 316 seconden. Deze benchmark weerspiegelt het vermogen van het systeem om geparallelliseerde, code-intensieve workloads met gemak te verwerken. Snellere compileerprestaties vertalen zich direct in kortere buildtijden en een verbeterde iteratiesnelheid voor ontwikkelaars die werken in grootschalige software- of CI/CD-omgevingen.
Apache Web Server
De DL380a Gen12 ondersteunde 94,348 verzoeken per seconde in de Apache-benchmark voor webserverprestaties. Dit resultaat toont een evenwichtige I/O-afhandeling en sterke cache-efficiëntie, wat de doorvoer en responsiviteit biedt die nodig zijn voor zakelijke webapplicaties, virtualisatiefront-ends of interne servicehosting.
OpenSSL-verificatie
De cryptografische prestaties waren eveneens sterk: de DL380a Gen12 verifieerde 803 miljard bewerkingen per seconde in OpenSSL. Dit toont aan dat het systeem in staat is om encryptie, authenticatie en beveiligde communicatieworkloads op grote schaal te beheren.
| Phoronix-benchmarks | HPE ProLiant DL380a Gen 12 (2x Intel Xeon 6527P) |
| Stroom | 542,720.7 MB / s |
| 7-zip | 304,907 MIP/s |
| Kernel compileren (allmod) | 316.166 seconden |
| Apache (verzoeken per seconde) | 94,347.52 R/s |
| OpenSSL | 803,597,895,087 Verifiëren/s |
Conclusie
De HPE ProLiant DL380a Gen12 onderscheidt zich als een van de meest praktische en evenwichtige AI-servers die ontworpen zijn voor de mainstream zakelijke AI-markt. Het 4U luchtgekoelde ontwerp levert een serieuze rekenkracht met twee Xeon 6 CPU's, ondersteuning voor maximaal 8 double-wide of 16 single-width GPU's en 16 E3.S NVMe-bays, met behoud van betrouwbaarheid en eenvoudig onderhoud. HPE's technische aanpak van luchtstroom en thermische balans garandeert consistente prestaties onder zware workloads, wat aantoont dat geavanceerde AI-acceleratie ook in traditionele luchtgekoelde omgevingen kan floreren.
De integratie van iLO 7 biedt een aanzienlijke verbetering in beheerbaarheid, een enorm voordeel voor leveranciers van tier-1-servers zoals HPE. De gemoderniseerde interface, integratie met HPE Compute Ops Management en gedetailleerde hardwaretelemetrie maken beheer op afstand intuïtief en efficiënt. Elke sectie – Dashboard, Firmware, Host, Beveiliging, Apps en Instellingen – weerspiegelt HPE's verschuiving naar een overzichtelijkere, meer cloudgeïntegreerde ervaring zonder in te boeten aan de on-premises controle waar enterpriseteams op vertrouwen.
Tijdens prestatietests leverde de server uitstekende resultaten. De vier RTX PRO 6000 GPU's behaalden een indrukwekkende doorvoersnelheid in zowel compacte als microschaalbare LLM-modellen, waarbij vLLM-prestaties leverde die vergelijkbaar zijn met die van vloeistofgekoelde systemen. CPU-benchmarks van Phoronix benadrukken de balans verder, met meer dan 540 GB/s geheugenbandbreedte, 94k RPS in Apache en meer dan 800 miljard OpenSSL-verificaties per seconde, wat de kracht van zowel AI als algemene rekenkracht aantoont.
Het ontwerpdoel van HPE is duidelijk: het leveren van high-density, productieklare AI-prestaties met luchtkoeling die past binnen bestaande rack- en stroominfrastructuren. Voor datacenterteams die op zoek zijn naar betrouwbare, veilige en eenvoudig te beheren computing in een luchtgekoelde vormfactor, is de DL380a Gen12 een capabele, toekomstgerichte oplossing voor de groeiende mainstream AI-markt.















Amazon