Onze huidige AI-systeemreviews richten zich op inferentie in het lab, met open-weight modellen uit de Llama-, Qwen-, DeepSeek- en gpt-oss-families die via vLLM of SGLang draaien en worden gemeten op uitvoerdoorvoer en first-token latency. De dekking loopt van edge tot volledige GPU-node: de NVIDIA RTX PRO 4500 Server Edition leverde gemiddeld 2.7 keer zoveel uitvoertokens per seconde als de L4 die hij moest vervangen in een HPE ProLiant DL145 Gen11, met ongeveer 105W meer stroomverbruik; de Dell-, GIGABYTE- en HP-versies van DGX Spark draaiden gedistribueerde inferentie als clusters van twee nodes over de 200 Gb fabric; en Supermicro JumpStart gaf ons de mogelijkheid om een NVIDIA HGX B200 en een AMD Instinct MI350X-systeem te testen. Opslag krijgt dezelfde behandeling, omdat het datapad bepaalt hoe druk die GPU's blijven. Daarom meten we de GPUDirect Storage-doorvoer met GDSIO en testen we KV-cache-offload naar flashgeheugen voor workloads met lange contexten en agentische workloads.
Als u hardware selecteert voor AI, vindt u op de pagina 'Beste servers' onze actuele aanbevelingen voor AI-inferentie en edge computing op basis van de gegevens uit deze reviews. 'Beste enterprise SSD's' behandelt de schijven die de GPU's van stroom voorzien, en 'Beste opslagarrays' behandelt de AI-opslagplatformen achter trainingsclusters en neoclouds.
De NVIDIA RTX PRO 4500 Blackwell Server Edition is de kaart die NVIDIA primair heeft ontwikkeld ter vervanging van de L4-chip in servers die zich buiten het datacenter bevinden: een single-slot, PCIe Gen5, passief gekoeld, 165W, met 32 GB GDDR7-geheugen en de volledige Blackwell-functionaliteit, inclusief FP4 Tensor Cores en Multi-Instance GPU. HPE stuurde ons een ProLiant DL145.
De AI-infrastructuur van bedrijven is verschoven van het optimaliseren van trainingsmodellen naar het in gebruik nemen ervan, en dat verandert de economie. Training is een kapitaalproject met een eindpunt. Inferentie is een productieworkload die draait zolang de service actief is, met een output die wordt gemeten in tokens. Dit is het tokenomics-probleem waar AI-operators nu voor staan: zodra de
Twee dingen komen meestal als eerste ter sprake wanneer het gesprek over de NVIDIA DGX Spark gaat. Ten eerste de belangrijkste specificatie: 128 GB aan geïntegreerd geheugen in een desktopcomputer van ongeveer $4,000, een bedrag dat zelfs twee jaar geleden nog ondenkbaar leek voor een engineer. Ten tweede de 200
Toen we afgelopen november ons artikel publiceerden over het planktononderzoek van de Oregon State University, stond de wetenschap centraal: door AI versnelde infrastructuur aan boord van onderzoeksschepen, die terabytes aan oceaandata in bijna realtime verwerkte nog voordat het schip de haven bereikte. Maar er gebeurde nog iets anders in de weken die volgden. Het nieuws over wat een
Het JumpStart-programma van Supermicro heeft zich gevestigd als een van de nuttigste tools in de evaluatiekit voor AI-infrastructuur vóór de aankoop. In plaats van een gescripte demo in een gedeelde omgeving, biedt JumpStart gekwalificeerde gebruikers gratis, tijdgebonden toegang tot echte productieservers via SSH, IPMI en VNC, waardoor ze workloads op daadwerkelijke hardware kunnen uitvoeren.
We hebben een week lang een HGX B200 getest via Supermicro JumpStart om te zien hoe externe bare-metal-toegang de beslissingen van het AI-platform versnelt.
Oregon State brengt AI-oceaanonderzoek verder met GPU, rekenkracht en dichte NVMe om planktongegevens in real-time op zee te analyseren.
De L40S is vooral waardevol voor het genereren van synthetische gegevens, multimodale AI-ontwikkeling en Omniverse-toepassingen die zowel computer- als grafische prestaties vereisen.
Pliops XDP LightningAI verbetert LLM-inferentie door de KV-cache te ontlasten, waardoor snellere, schaalbare AI met NVIDIA Dynamo-integratie mogelijk wordt.
De mobiele datacenters van DUG Nomad leveren immersiegekoelde AI- en HPC-mogelijkheden aan de edge met Hypertec-servers en Solidigm SSD's.
Amazon