AMD-chips waren er wellicht eerder: Strix Halo mini-pc's en laptops werden al geleverd met 128 GB aan geïntegreerd geheugen, ruim voordat NVIDIA op de markt kwam. Maar de categorie desktops met lokale AI is er eigenlijk een die NVIDIA heeft gecreëerd toen ze een Grace Blackwell-superchip in een behuizing van één liter stopten en die de naam 'local-AI desktop' gaven. DGX-vonkHet idee was simpel: een machine voor ontwikkelaars met voldoende geïntegreerd geheugen om krachtige modellen te draaien, die op een bureau staat in plaats van in de cloud te worden gehost. De AMD Ryzen AI Halo is AMD's antwoord op die machine. AMD kondigde hem aan samen met de Ryzen AI Max PRO 400-serie in mei 2026; pre-orders gingen in juni exclusief van start via Micro CenterDe Ryzen AI Halo is vanaf 10 juli in de winkels verkrijgbaar. Deze processor heeft een vergelijkbare afmeting, 128 GB aan geïntegreerd geheugen, een prijs van $ 3,999 en een beperkt aantal keuzes die hem een aanzienlijk ander aanbod maken dan de Spark.
AMD presenteert de Halo als zijn eerste AI-ontwikkelplatform, waarmee ontwikkelaars snel en eenvoudig lokaal AI kunnen bouwen en uitvoeren. Onder de motorkap bevindt zich de Ryzen AI Max+ 395, een 16-core, 32-thread "Zen 5"-processor met geïntegreerde Radeon 8060S-graphics (40 RDNA 3.5 compute units) en een XDNA 2 NPU met een capaciteit van 50 TOPS. Dit alles binnen een platform dat volgens AMD een gecombineerde AI-doorvoer van maximaal 126 TOPS biedt. De 128 GB LPDDR5x-geheugen werkt op 8000 MT/s, wat een bandbreedte van 256 GB/s oplevert. Het hele platform wordt gevoed via één enkele USB-C-ingang met een vermogen van 120 W. AMD stelt dat het geheugen voldoende is om modellen met maximaal 200 miljard parameters in het apparaatgeheugen op te slaan. Het is een compleet x86-miniwerkstation, en dat is de kern van het belangrijkste verschil.
Dat verschil zit hem in Windows. De Spark draait NVIDIA's op Linux gebaseerde DGX OS en niets anders; de Halo start Windows 11 of AMD's Linux-ontwikkelaarsimage op dezelfde hardware. Native Windows-ondersteuning was de meest voorkomende wens die we hoorden van mensen die een Spark op het oog hadden, en het verandert de doelgroep van dit apparaat. AMD's eigen positionering benadrukt hetzelfde punt: Windows en Linux versus de Spark die alleen op Linux draait.in ieder geval vanaf vandaag.).
Er zijn nog drie belangrijke verschillen tussen de Halo en de Spark, en elk daarvan pakt een klacht aan die we over het vorige model hebben gehoord. De Halo gebruikt een standaard M.2 2280 SSD in plaats van de minder gangbare 2242-schijf die in de Spark zit. Dit biedt een veel grotere keuze aan alternatieven, waaronder schijven met een capaciteit van 8 TB, voor wie de schijf wil vervangen. De machine wordt geleverd met variabel grafisch geheugen dat standaard is ingesteld op de maximale toewijzing in beide besturingssystemen, waardoor grote modellen zonder handmatige aanpassingen laden. De behuizing is ook voorzien van een verlichte statusring, een kleine verbetering ten opzichte van de donkere, lichtloze Spark-modellen die sommige kopers ontvingen, afhankelijk van de fabrikant. De prijs van AMD's aanpak is te zien aan de achterkant van de doos, waar geen snelle netwerkverbinding aanwezig is, alleen 10 GbE, wat de mogelijkheden voor multi-node clustering beperkt. Dit zijn de compromissen, en ze bepalen voor welke workloads deze machine is ontworpen, nog voordat er benchmarks zijn uitgevoerd.
Wat de prijs betreft, is het verschil belangrijk. De Halo kost $3,999 met een 2TB SSD, wat ongeveer gelijk is aan de gangbare prijs voor een basis Spark-systeem. De vergelijking hangt af van welk Spark-systeem je bedoelt. NVIDIA's eigen DGX Spark met de grotere schijf kost nu bijna $4,700, een prijsstijging die samenhangt met het tekort aan LPDDR5X- en NAND-geheugen. Basis Grace Blackwell-systemen van ASUS en andere fabrikanten kosten nog steeds rond de $4,000 en staan vermeld op... Vandaag verkrijgbaar bij Amazon (affiliatelink). Gemeten naar de basislijn van de categorie, is de Halo gelijkwaardig, en de onderbouwing ervan berust op de bovenstaande beslissingen in plaats van op het ondermijnen van de concurrentie.
We hebben de Halo getest met de lokale AI-suite van StorageReview op zowel Windows als Linux, en de resultaten worden samen met de ontwerp- en softwareanalyse in deze review gepresenteerd.
Key Takeaways
- Het dual-OS x86-alternatief: De Ryzen AI Halo is de enige computer in de Spark-categorie die Windows 11 of Linux op een volledig x86-platform kan opstarten, voor $3,999 met een 2TB SSD, in tegenstelling tot de DGX Spark Founders Edition die $4,699 kost.
- Geheugen voor het opslaan van grote modellen: 128 GB LPDDR5x-8000-geheugen met een snelheid van 256 GB/s ondersteunt lokaal modellen met maximaal 200 miljard parameters, waarbij het variabele grafische geheugen vooraf is afgesteld zodat grote modellen zonder handmatige configuratie kunnen worden geladen.
- De krachtigste Ryzen AI Max+ 395 die we hebben getest: De Halo presteerde beter dan de HP Z2 Mini G1a en ZBook Ultra G1a in vrijwel alle Windows-tests, waaronder 37,316 punten in Cinebench R23 multi-core, 184.2 GIPS in 7-Zip en de hoogste scores voor tekstgeneratie (Phi 1,192) en beeldgeneratie (SD 1.5 FP16 937) met Procyon AI.
- CPU wint, inferentie verliest ten opzichte van Spark: Op Linux versloeg de Halo de DGX Spark ruimschoots in CPU-prestaties, met 11% snellere compressie en 38% snellere decompressie in 7-Zip en een 14% snellere voltooiing van de LLVM-compilatie. In de meeste vLLM-serving-scenario's bij hogere gelijktijdigheid bleef de Halo echter 2 tot 4 keer achter, met een verschil van maar liefst 8.8 keer bij GPT OSS 120B-taken die veel voorvulling vereisen.
- Bruikbare opslag, bescheiden netwerkmogelijkheden: Een standaard M.2 2280-sleuf maakt upgrades naar 8 TB mogelijk, hoewel het platform de meegeleverde Gen5 Micron 4600 standaard terugzet naar Gen4. Bovendien sluit de enkele 10GbE-poort zonder high-speed fabric de multi-node clustering uit die de 200G ConnectX-7 van de Spark mogelijk maakt.
| Specificaties | AMD Ryzen AI Halo-systeem |
|---|---|
| Gegevensverwerker | |
| CPU | AMD Ryzen™ AI Max+ 395-processor 16 kernen / 32 threads (Zen 5-architectuur) |
| GPU | AMD Radeon™ 8060S geïntegreerde grafische kaart 40 rekeneenheden (RDNA™ 3.5-architectuur) |
| NPU | AMD XDNA™ 2 NPU |
| Geheugen | |
| Type geheugen | LPDDR5x |
| Geheugencapaciteit | 128GB |
| Geheugensnelheid | 8000MT / s |
| Geheugenbandbreedte | 256GB / s |
| Opslag | |
| Opslag | 2TB M.2 NVMe SSD (SED) |
| Netwerken en connectiviteit | |
| Ethernet | 1 × 10GbE |
| Wi-Fi | Wi-Fi 7 |
| Bluetooth | Bluetooth 5.4 |
| I / O | |
| USB | 3 × USB-C, 1 × USB-C (voedingsingang) |
| Display Output | 1 × HDMI 2.1b |
| Systeem | |
| TDP | 120W |
| Besturingssysteem | Linux of Windows 11 |
| Afmetingen | 150 × 150 × 45.4 mm (5.9 × 5.9 × 1.79 binnen) |
| Gewicht | Minder dan 1.2 kg (2.65 lbs) |
Het AMD Ryzen AI Halo-systeem heeft een compacte, op de NVIDIA Spark lijkende vormfactor, met afmetingen van slechts 150 × 150 × 45.4 mm en een gewicht van minder dan 1.2 kg. De aluminium behuizing is voorzien van een opvallend geometrisch ventilatiepatroon aan de boven- en voorkant, wat het systeem een onderscheidend uiterlijk geeft en tegelijkertijd de luchtstroom naar het koelsysteem maximaliseert. Ondanks de kleine afmetingen is het platform ontworpen als een volwaardig AI-werkstation voor desktops, geschikt voor workstationtoepassingen, lokale LLM-inferentie en AI-ontwikkelingstaken.
De voorkant van het systeem is bewust strak vormgegeven en bestaat bijna volledig uit een groot ventilatierooster van gaas dat de volledige breedte van de behuizing beslaat. In plaats van poorten aan de voorkant te plaatsen, heeft AMD dit gebied volledig gewijd aan luchtstroom, waardoor koele lucht via de grote, gestructureerde luchtinlaat het systeem binnenkomt en de voorkant er onoverzichtelijk uitziet. Een zilverkleurig accent aan de onderkant van de behuizing zorgt voor een subtiel visueel contrast met de verder matzwarte behuizing.
Alle externe aansluitingen bevinden zich aan de achterkant van het systeem. Van links naar rechts omvat het achterpaneel het volgende:
Het systeem biedt drie USB-C-datapoorten en een aparte USB-C-voedingsaansluiting, waardoor meerdere snelle randapparaten en beeldschermen tegelijkertijd kunnen worden aangesloten. HDMI 2.1b zorgt voor native beelduitvoer, terwijl de geïntegreerde 10GbE Ethernet-interface het platform uitermate geschikt maakt voor snelle NAS-connectiviteit, AI-dataoverdracht en lokale ontwikkelomgevingen.
De onderkant van de Ryzen AI Halo is voorzien van een grote geperforeerde ventilatieopening die lucht aanzuigt om de componenten aan de onderkant van het moederbord te koelen, en vier rubberen voetjes op de hoeken zorgen ervoor dat het apparaat stabiel op een bureau of plank staat.
Door de vier schroeven los te draaien waarmee het onderste paneel is bevestigd, komen de M.2 SSD-sleuf en enkele componenten aan de onderkant van het moederbord tevoorschijn, waaronder de connector voor de wifi-kaart. In ons testexemplaar bevindt zich in die sleuf een Micron 4600 2TB Gen5 x4 SSD, terwijl een zwarte beschermfolie de rest van het moederbord afschermt van de blootliggende onderkant.
Voor de koeling koos AMD een vergelijkbare aanpak als NVIDIA's DGX Spark, met twee ventilatoren die lucht over een koelblok met vinnen zuigen en deze aan de achterkant van de behuizing afvoeren.
Nadat de koelunit is verwijderd, komt het moederbord in beeld. Daarop is de APU-chip in het midden te zien, geflankeerd door geheugenmodules aan weerszijden en de VRM-circuits langs de linkerkant. Het zilverkleurige vierkantje op de chip is geen vloeibaar metaal of een pasta-achtige substantie; het is het residu van een vaste thermische pad of coating die AMD heeft aangebracht als interface tussen de chip en de heatsink. Dit verklaart het uniforme, droge uiterlijk in plaats van de natte, vlekkerige look die pasta of vloeibaar metaal doorgaans achterlaat.
Als je de koelplaat omdraait, zie je de onderkant van de koelplaat, waar een spiegelglad gepolijst gedeelte direct contact maakt met de chip. Tegelijkertijd zijn de omliggende geheugen- en stroomvoorzieningszones bedekt met voorgemonteerde thermische pads van verschillende dikte.
We hebben het AMD Ryzen AI Halo-platform op Windows en Linux geëvalueerd om de prestaties ervan te beoordelen in workstation-applicaties en AI-gerichte workloads. Voor de Windows-tests werd het AMD Ryzen AI Halo-systeem vergeleken met twee commercieel verkrijgbare systemen met de Ryzen AI Max+ PRO 395: de HP Z2 Mini G1a, een compact desktopwerkstation, en de HP ZBook Ultra G1a 14-inch, een mobiel werkstation. Omdat alle drie de systemen dezelfde onderliggende processorarchitectuur en geïntegreerde Radeon 8060S-graphics delen, laten deze vergelijkingen zien hoe het Halo-platform presteert bij verschillende thermische omstandigheden en systeemconfiguraties.
Voor de Linux-tests zijn we overgestapt op AI-ontwikkeling en opslagworkloads, waarbij we het Ryzen AI Halo-systeem vergeleken met de NVIDIA DGX Spark. Deze tests richtten zich op FIO-opslagbenchmarking en vLLM-inferentieprestaties, waarbij AMD's op Ryzen AI Halo gebaseerde ontwikkelplatform werd vergeleken met NVIDIA's speciaal voor AI-ontwikkeling ontwikkelde systeem voor lokale inferentie van grote taalmodellen.
De Procyon AI Computer Vision Benchmark biedt gedetailleerd inzicht in de prestaties van AI-inferentie-engines op professioneel niveau. Door engines van meerdere leveranciers te integreren, levert de benchmark prestatiescores die de mogelijkheden van een apparaat nauwkeurig weergeven. De benchmark evalueert de meest geavanceerde neurale netwerkmodellen door hun AI-acceleratieprestaties te vergelijken op verschillende hardwaretypen, waaronder CPU, GPU en NPU. Hierdoor kunnen gebruikers de relatieve efficiëntie beoordelen voor uiteenlopende workloads en omstandigheden.
Om de werkelijke AI-werkbelasting te weerspiegelen, maakt de benchmark gebruik van zes verschillende neurale netwerkmodellen, elk geselecteerd op basis van hun relevantie voor moderne computervisie-taken. MobileNet V3 is een compact, op mobiele apparaten gericht model, ontworpen voor objectidentificatie in afbeeldingen, terwijl Inception V4 dezelfde taak uitvoert met een diepere, complexere architectuur.
YOLO V3 (You Only Look Once) is gespecialiseerd in realtime objectdetectie door objectwaarschijnlijkheden te schatten. DeepLab V3, gebouwd op MobileNet V2, richt zich op semantische beeldsegmentatie en pixelclustering. Real-ESRGAN, de meest rekenintensieve test, schaalt afbeeldingen op van 250×250 naar 1,000×1,000 resolutie. Ten slotte is ResNet 50 een robuust classificatiemodel dat een effectievere training van diepe neurale netwerken mogelijk maakt.
Het Ryzen AI Halo-platform leverde consistent sterke AI-inferentieprestaties voor zowel CPU- als GPU-workloads. Bij de CPU-tests behaalde het een totale score van 216, net achter de HP Z2 Mini (227) en ruim boven de HP ZBook Ultra (186). GPU-inferentie was zelfs nog indrukwekkender, met het Halo-systeem dat de hoogste totale score van 553 behaalde, vóór de ZBook Ultra (528) en de Z2 Mini (528). Het behaalde ook de snelste MobileNet V3-inferentie met 0.38 ms en voltooide de veeleisende REAL-ESRGAN-workload in 185.08 ms, vergeleken met 211.76 ms op de Z2 Mini en 200.40 ms op de ZBook Ultra.
| UL Procyon: AI Computer Vision Inference (lager is beter) | AMD Ryzen AI Halo (Ryzen AI Max+ 395 | Radeon 8060S) | HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) | HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S) |
|---|---|---|---|
| CPU-tijden | |||
| Algemene score voor AI Computer Vision (hoe hoger, hoe beter) | 216 | 227 | 186 |
| MobileNet V3 | 0.73 ms | 0.75 ms | 1.09 ms |
| ResNet 50 | 6.02 ms | 5.99 ms | 6.84 ms |
| Inception V4 | 17.18 ms | 17.12 ms | 19.80 ms |
| Deep Lab V3 | 29.21 ms | 21.20 ms | 28.27 ms |
| YOLO V3 | 35.60 ms | 36.58 ms | 41.64 ms |
| ECHT-ESRGAN | 1,931.13 ms | 1,892.10 ms | 2,138.97 ms |
| GPU-tijden | |||
| Algemene score voor AI Computer Vision (hoe hoger, hoe beter) | 553 | 528 | 583 |
| MobileNet V3 | 0.38 ms | 0.42 ms | 0.46 ms |
| ResNet 50 | 4.04 ms | 3.85 ms | 3.27 ms |
| Inception V4 | 13.26 ms | 15.15 ms | 11.62 ms |
| Deep Lab V3 | 12.72 ms | 10.98 ms | 10.72 ms |
| YOLO V3 | 11.17 ms | 12.64 ms | 10.57 ms |
| ECHT-ESRGAN | 185.08 ms | 211.76 ms | 200.40 ms |
De Procyon AI-tekstgeneratiebenchmark Stroomlijnt het testen van de prestaties van AI LLM-modellen door een beknopte en consistente evaluatiemethode te bieden. Het maakt herhaald testen mogelijk met meerdere LLM-modellen, terwijl de complexiteit van grote modellen en variabele factoren wordt geminimaliseerd. Ontwikkeld in samenwerking met toonaangevende AI-hardwarefabrikanten, optimaliseert het het gebruik van lokale AI-acceleratoren voor betrouwbaardere en efficiëntere prestatiebeoordelingen. De onderstaande resultaten zijn gemeten met TensorRT.
Het Ryzen AI Halo-referentieplatform presteerde het beste van alle geteste taalmodellen in Procyon AI Text Generation. Het behaalde de hoogste Phi-score van 1,192, vergeleken met 965 voor de HP Z2 Mini en 922 voor de HP ZBook Ultra. Mistral volgde een vergelijkbare trend met een score van 998, vóór 850 en 829, terwijl Llama3 eindigde met 847, waarmee het de concurrerende systemen met respectievelijk 766 en 756 overtrof. Het Halo-platform verkortte ook de tijd tot het eerste token op elk model, waarbij het eerste Phi-token in slechts 0.996 seconden werd gegenereerd, bijna de helft van de latentie van de HP-systemen. Hoewel de doorvoer van tokengeneratie af en toe in het voordeel van de Z2 Mini was, resulteerde de aanzienlijk lagere opstartlatentie van het Halo-platform in de beste algehele benchmarkscores.
| UL Procyon: AI-tekstgeneratie | AMD Ryzen AI Halo (Ryzen AI Max+ 395 | Radeon 8060S) | HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) | HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S) |
|---|---|---|---|
| Phi Algemene score | 1,192 | 965 | 922 |
| Phi-uitvoertijd naar eerste token | 0.996 seconden | 1.898 seconden | 1.956 seconden |
| Phi-uitvoertokens per seconde | 55.271 tokens/seconden | 68.967 tokens/seconden | 64.986 tokens/seconden |
| Phi totale duur | 56.237 seconden | 52.666 seconden | 55.501 seconden |
| Mistral Algemene score | 998 | 850 | 829 |
| Mistral-uitvoertijd tot eerste token | 1.603 seconden | 2.734 seconden | 2.783 seconden |
| Mistral-uitvoertokens per seconde | 35.027 tokens/seconden | 43.358 tokens/seconden | 41.992 tokens/seconden |
| Mistral Totale duur | 88.582 seconden | 81.716 seconden | 84.065 seconden |
| Llama3 Algemene score | 847 | 766 | 756 |
| Llama3 Uitvoertijd naar eerste token | 1.963 seconden | 2.545 seconden | 2.578 seconden |
| Llama3 Uitvoertokens per seconde | 34.630 tokens/seconden | 36.752 tokens/seconden | 36.243 tokens/seconden |
| Llama3 Totale duur | 92.026 seconden | 91.987 seconden | 93.200 seconden |
| Llama2 Algemene score | NB | 936 | 929 |
| Llama2 Uitvoertijd naar eerste token | N/A seconden | 3.813 seconden | 3.860 seconden |
| Llama2 Uitvoertokens per seconde | N/A tokens/s | 24.685 tokens/seconden | 24.619 tokens/seconden |
| Llama2 Totale duur | N/A seconden | 136.077 seconden | 136.720 seconden |
De Procyon AI-beeldgeneratiebenchmark Deze benchmark biedt een consistente en nauwkeurige manier om de prestaties van AI-inferentie te meten op verschillende hardware, van energiezuinige NPU's tot krachtige GPU's. De benchmark omvat drie tests: Stable Diffusion XL (FP16) voor krachtige GPU's, Stable Diffusion 1.5 (FP16) voor GPU's met een gemiddeld vermogen en Stable Diffusion 1.5 (INT8) voor energiezuinige apparaten. De benchmark maakt gebruik van de optimale inferentie-engine voor elk systeem, wat zorgt voor eerlijke en vergelijkbare resultaten.
Beeldgeneratie bleek een van de sterkste taken van Ryzen AI Halo. Op Stable Diffusion 1.5 FP16 behaalde het Halo-platform een totale score van 937, vergeleken met 725 voor de Z2 Mini en 648 voor de ZBook Ultra, terwijl de generatietijd werd teruggebracht tot 106.7 seconden, vergeleken met respectievelijk 137.8 en 154.2 seconden. Stable Diffusion XL liet een even sterke voorsprong zien, waarbij het Halo-systeem de benchmark voltooide in 878.5 seconden, ongeveer 174 seconden sneller dan de Z2 Mini en meer dan 450 seconden sneller dan de ZBook Ultra. Het platform voltooide ook de Stable Diffusion 1.5 INT8-benchmark met een totale score van 9,158, een taak die niet beschikbaar was op de HP-vergelijkingssystemen.
| UL Procyon: AI-beeldgeneratie | AMD Ryzen AI Halo (Ryzen AI Max+ 395 | Radeon 8060S) | HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) | HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S) |
|---|---|---|---|
| Stabiele diffusie 1.5 (FP16) – Algemene score | 937 | 725 | 648 |
| Stabiele diffusie 1.5 (FP16) – Totale tijd | 106.7 seconden | 137.815 seconden | 154.203 seconden |
| Stabiele diffusie 1.5 (FP16) – Snelheid van beeldgeneratie | 6.670 s/afbeelding | 8.613 s/afbeelding | 9.638 s/afbeelding |
| Stabiele diffusie 1.5 (INT8) – Algemene score | 9,158 | NB | NB |
| Stabiele diffusie 1.5 (INT8) – Totale tijd | 27.298 seconden | NB | NB |
| Stabiele diffusie 1.5 (INT8) – Snelheid van beeldgeneratie | 3.412 s/afbeelding | NB | NB |
| Stable Diffusion XL (FP16) – Algemene score | 682 | 570 | 451 |
| Stabiele Diffusie XL (FP16) – Totale Tijd | 878.493 seconden | 1,052.468 seconden | 1,329.592 seconden |
| Stable Diffusion XL (FP16) – Snelheid van beeldgeneratie | 54.906 s/afbeelding | 65.779 s/afbeelding | 83.100 s/afbeelding |
De SPECworkstation 4.0-benchmark is een uitgebreide tool voor het evalueren van alle belangrijke aspecten van de prestaties van een workstation. Het biedt een realistische meting van de prestaties van de CPU, grafische kaart, accelerator en schijf, waardoor professionals de gegevens krijgen die ze nodig hebben om weloverwogen beslissingen te nemen over hun hardware-investeringen. De benchmark bevat een speciale set tests gericht op AI- en ML-workloads, zoals data science-taken en op ONNX Runtime gebaseerde inferentietests, wat de groeiende重要heid van AI/ML in workstationomgevingen weerspiegelt. Het bestrijkt zeven branches en vier hardware-subsystemen en biedt een gedetailleerde en relevante meting van de prestaties van de huidige workstations.
SPECworkstation 4 benadrukte de uitgebalanceerde workstation-mogelijkheden van het Ryzen AI Halo-platform. Het behaalde de hoogste scores in de categorieën Financiële dienstverlening (2.92), Media & Entertainment (2.97), Productontwerp (2.22) en Productiviteit & Ontwikkeling (1.27), waarmee het zowel de HP Z2 Mini als de HP ZBook Ultra in deze categorieën overtrof. De Z2 Mini had een kleine voorsprong in Energie (2.50 vs. 2.35) en Biowetenschappen (2.60 vs. 2.33). Over het geheel genomen liet het Halo-referentieplatform sterke prestaties zien bij alle professionele workloads van de benchmark en bleef het concurrerend in elke geteste categorie.
| SPECworkstation 4.0.0 (Hoger is beter) | AMD Ryzen AI Halo (Ryzen AI Max+ 395 | Radeon 8060S) | HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S)
| HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S) |
|---|---|---|---|
| Energie | 2.35 | 2.50 | 2.20 |
| Financiële diensten | 2.92 | 2.35 | 1.60 |
| Bio | 2.33 | 2.60 | 2.20 |
| Media en entertainment | 2.97 | 2.22 | 1.90 |
| product Ontwerp | 2.22 | 2.00 | 1.74 |
| Productiviteit & Ontwikkeling | 1.27 | 1.00 | 1.03 |
Luxmark is een GPU-benchmark die LuxRender, een open-source raytracing-renderer, gebruikt om de prestaties van een systeem te evalueren met zeer gedetailleerde 3D-scènes. Deze benchmark is nuttig voor het beoordelen van de grafische renderingmogelijkheden van servers en werkstations, met name voor toepassingen op het gebied van visuele effecten en architectuurvisualisatie, waar nauwkeurige lichtsimulatie cruciaal is.
Luxmark-resultaten lieten minimale verschillen zien tussen de drie Ryzen AI Max+ 395-platforms. Het Halo-referentiesysteem behaalde de hoogste Food-score met 4,158, waarmee het de Z2 Mini (3,943) en de ZBook Ultra (3,915) nipt voorbleef. In de Hallbench-test behaalde het een score van 8,014, iets lager dan de 8,477 van de Z2 Mini, maar hoger dan de 7,833 van de ZBook Ultra. Over het algemeen suggereren de resultaten dat systemen met de Radeon 8060S zeer vergelijkbare raytracing-prestaties leveren, ongeacht de vormfactor.
| Luxmark (Hoger is beter) | AMD Ryzen AI Halo (Ryzen AI Max+ 395 | Radeon 8060S) | HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) | HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S) |
|---|---|---|---|
| Halbank | 8,014 | 8,477 | 7,833 |
| Eten | 4,158 | 3,943 | 3,915 |
De 7-Zip Compression Benchmark evalueert de CPU-prestaties tijdens compressie en decompressie, waarbij de prestaties worden gemeten in GIPS (Giga Instructions Per Second) en CPU-gebruik. Een hogere GIPS-waarde en een efficiënt CPU-gebruik duiden op betere prestaties.
Het Ryzen AI Halo-platform presteerde het beste in alle belangrijke categorieën van de 7-Zip-benchmark. Het behaalde een compressiesnelheid van 176.7 GIPS, vergeleken met 139.3 GIPS op de HP Z2 Mini en 139.6 GIPS op de ZBook Ultra. De decompressieprestaties bleven eveneens sterk met 191.6 GIPS, waarmee het de 164.0 GIPS van de Z2 Mini en de 174.0 GIPS van de ZBook Ultra overtrof. Gecombineerd behaalde het Halo-platform de hoogste totale score van 184.2 GIPS, waarmee het concurrerende systemen met ongeveer 20% overtrof en een uitstekende doorvoersnelheid voor het aanmaken en uitpakken van archieven demonstreerde.
| 7-Zip compressie benchmark (hoe hoger, hoe beter) | AMD Ryzen AI Halo (Ryzen AI Max+ 395 | Radeon 8060S) | HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) | HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S) | |||
|---|---|---|---|---|---|---|
| Comprimeren | ||||||
| Huidig CPU-gebruik | 2,741% | 2,734% | 2,868% | |||
| Huidige beoordeling/gebruik | 6.370 GIP'S | 5.136 GIP'S | 4.883 GIP'S | |||
| Nominale stroom | 174.589 GIP'S | 140.405 GIP'S | 140.061 GIP'S | |||
| Resulterend CPU-gebruik | 2,751% | 2,718% | 2,855% | |||
| Resulterende beoordeling/gebruik | 6.424 GIP'S | 5.126 GIP'S | 4.890 GIP'S | |||
| Resulterende beoordeling | 176.742 GIP'S | 139.298 GIP'S | 139.617 GIP'S | |||
| Decomprimeren | ||||||
| Huidig CPU-gebruik | 2,568% | 2,343% | 2,904% | |||
| Huidige beoordeling/gebruik | 7.670 GIP'S | 6.805 GIP'S | 6.029 GIP'S | |||
| Nominale stroom | 196.986 GIP'S | 159.451 GIP'S | 175.104 GIP'S | |||
| Resulterend CPU-gebruik | 2,469% | 2,414% | 2,887% | |||
| Resulterende beoordeling/gebruik | 7.766 GIP'S | 6.793 GIP'S | 6.028 GIP'S | |||
| Resulterende beoordeling | 191.645 GIP'S | 163.969 GIP'S | 174.046 GIP'S | |||
| Totale beoordeling | ||||||
| Totaal CPU-gebruik | 2,610% | 2,566% | 2,871% | |||
| Totale beoordeling/gebruik | 7.095 GIP'S | 5.959 GIP'S | 5.459 GIP'S | |||
| Totale beoordeling | 184.194 GIP'S | 151.634 GIP'S | 156.832 GIP'S | |||
Blender is een open-source 3D-modelleerprogramma. Deze benchmark is uitgevoerd met het Blender Benchmark-programma. De score wordt gemeten in samples per minuut, waarbij hogere waarden betere prestaties aangeven.
CPU-rendering was een ander gebied waarop Ryzen AI Halo uitblonk. In de Monster-scène behaalde het 244.7 samples per minuut, waarmee het de HP Z2 Mini (224.3) en HP ZBook Ultra (189.3) voorbijstreefde. Junkshop volgde met 159.4 samples per minuut, vergeleken met 149.5 en 129.4, terwijl Classroom 131.6 samples per minuut haalde, waarmee het de Z2 Mini (116.3) met ongeveer 13% en de ZBook Ultra (94.1) met bijna 40% overtrof. Deze resultaten tonen aan dat de Ryzen AI Max+ 395 ondanks zijn compacte workstation-formaat uitstekende multithreaded renderingprestaties levert.
| Blender Benchmark CPU (Samples per minuut, hoe hoger hoe beter) | AMD Ryzen AI Halo (Ryzen AI Max+ 395 | Radeon 8060S) | HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) | HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S) |
|---|---|---|---|
| Monster | 244.7 monsters/m | 224.3 monsters/m | 189.29 monsters/m |
| Junkshop | 159.4 monsters/m | 149.5 monsters/m | 129.42 monsters/m |
| Klas | 131.6 monsters/m | 116.3 monsters/m | 94.14 monsters/m |
De GPU-renderingresultaten lagen veel dichter bij elkaar tussen de verschillende systemen. Het Halo-referentieplatform renderde de Monster-scène met 704.2 samples per minuut, achter de Z2 Mini (745.6) maar voor de ZBook Ultra (661.5). Junkshop presteerde vrijwel gelijk tussen het Halo-platform (366.6) en de Z2 Mini (366.5). Tegelijkertijd behaalde het Halo-systeem de hoogste Classroom-score met 361.5 samples per minuut, nipt hoger dan de Z2 Mini (359.0) en de ZBook Ultra (333.3). De resultaten tonen aan dat de Radeon 8060S opmerkelijk consistente GPU-renderingprestaties levert, ongeacht de implementatie.
| Blender Benchmark GPU (Samples per minuut, hoe hoger, hoe beter) | AMD Ryzen AI Halo (Ryzen AI Max+ 395 | Radeon 8060S) | HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) | HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S) |
|---|---|---|---|
| Monster | 704.2 monsters/m | 745.55 monsters/m | 661.50 monsters/m |
| Junkshop | 366.6 monsters/m | 366.54 monsters/m | 341.92 monsters/m |
| Klas | 361.51 monsters/m | 359.01 monsters/m | 333.26 monsters/m |
Y-Cruncher is een multithreaded, schaalbaar programma dat in staat is om Pi en andere wiskundige constanten tot triljoenen decimalen te berekenen. Sinds de lancering in 2009 is het een populair benchmark- en stresstestprogramma geworden voor overklokkers en hardwareliefhebbers.
De resultaten van de y-cruncher-tests lieten een verschil zien op basis van de rekenomvang. Bij de berekeningen met 1 miljard en 2.5 miljard cijfers eindigden alle drie de systemen binnen enkele tienden van een seconde van elkaar, waarbij de HP-systemen een fractie sneller waren. Naarmate de werklast toenam, liep de Halo voor en voltooide de berekening met 5 miljard cijfers in 71.948 seconden, vergeleken met 75.021 seconden voor de Z2 Mini en 78.19 seconden voor de ZBook Ultra. Bij 10 miljard cijfers voltooide de Halo de berekening in 151.409 seconden, ongeveer 6% sneller dan de Z2 Mini en 12% sneller dan de ZBook Ultra. Dit suggereert dat de desktopbehuizing beter bestand is tegen zware, multithreaded taken naarmate de rekentijd langer wordt.
| Y-Cruncher (totale rekentijd) | AMD Ryzen AI Halo (Ryzen AI Max+ 395 | Radeon 8060S) | HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) | HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S) |
|---|---|---|---|
| 1 Miljard | 13.193 seconden | 12.965 seconden | 12.93 seconden |
| 2.5 Miljard | 34.578 seconden | 34.533 seconden | 34.91 seconden |
| 5 Miljard | 71.948 seconden | 75.021 seconden | 78.19 seconden |
| 10 Miljard | 151.409 seconden | 160.252 seconden | 171.72 seconden |
Geekbench 6 is een platformonafhankelijke benchmark die de algehele systeemprestaties meet.
Geekbench 6 bevestigde het evenwichtige prestatieprofiel van het Halo-platform. Het behaalde de hoogste single-core score van 2,986, vóór de HP Z2 Mini (2,862) en de ZBook Ultra (2,825). Ook de multi-core prestaties waren met 18,068 de beste. De Radeon 8060S behaalde de hoogste OpenCL GPU-score van 92,883, nipt hoger dan de Z2 Mini (91,591) en ruim boven de ZBook Ultra (85,337). De consistente voorsprong in zowel CPU- als GPU-tests illustreert de veelzijdige prestaties van het Ryzen AI Max+ 395-platform.
| Geekbench 6 (hoger is beter) | AMD Ryzen AI Halo (Ryzen AI Max+ 395 | Radeon 8060S) | HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) | HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S) |
|---|---|---|---|
| CPU Single-Core | 2,986 | 2,862 | 2,825 |
| CPU multi-core | 18,068 | 17,210 | 17,562 |
| GPU OpenCL | 92,883 | 91,591 | 85,337 |
Cinebench R23 is een algemeen erkende benchmark voor het evalueren van CPU-prestaties bij 3D-renderingtaken. De benchmark, die gebruikmaakt van de Cinema 4D-engine, meet hoe goed een processor omgaat met taken die slechts één thread bevatten en taken die meerdere threads bevatten. Dit geeft inzicht in de algehele responsiviteit en de mogelijkheden voor parallelle verwerking.
Cinebench R23 toonde een zeer spannende strijd tussen de twee Ryzen AI Max+ 395 desktopimplementaties. Het Halo-referentieplatform behaalde een multi-core score van 37,316, waarmee het de HP Z2 Mini (37,156) nipt versloeg. Beide platforms presteerden bovendien aanzienlijk beter dan de HP ZBook Ultra (29,112). De single-core prestaties volgden hetzelfde patroon: het Halo-platform scoorde 2,047, vergeleken met 2,020 op de Z2 Mini en 1,984 op de ZBook Ultra. Hoewel de verschillen met de Z2 Mini klein waren, eindigde het Halo-systeem consistent bovenaan de benchmark.
| Cinebench R23 (Hoger is beter) | AMD Ryzen AI Halo (Ryzen AI Max+ 395 | Radeon 8060S) | HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) | HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S) |
|---|---|---|---|
| Multi-Core | 37,316 | 37,156 | 29,112 |
| Single-Core | 2,047 | 2,020 | 1,984 |
Cinebench 2024 bouwt voort op de basis van R23 door GPU-gebaseerde renderingtests te introduceren, terwijl de focus op CPU-prestaties behouden blijft. In dit onderdeel bekijken we alleen de CPU-scores, die een actueel inzicht bieden in hoe goed elk systeem moderne 3D-renderingtaken aankan.
De nieuwere Cinebench 2024-benchmark bevestigde de resultaten van de R23. Ryzen AI Halo behaalde de hoogste multi-core score met 1,916 punten, net voor de HP Z2 Mini (1,906) en met een aanzienlijke voorsprong op de HP ZBook Ultra (1,579). Ook de single-core prestaties waren in het voordeel van het Halo-platform, met 116 punten vergeleken met 112 voor de Z2 Mini en 111 voor de ZBook Ultra. Hoewel de verschillen tussen de desktopsystemen klein bleven, bevestigen de resultaten het vermogen van de Ryzen AI Max+ 395 om consistent topprestaties te leveren op het gebied van CPU-rendering.
| Cinebench 2024 (Hoger is beter) | AMD Ryzen AI Halo (Ryzen AI Max+ 395 | Radeon 8060S) | HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) | HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S) |
|---|---|---|---|
| Multi-Core | 1,916 | 1,906 | 1,579 |
| Single-Core | 116 | 112 | 111 |
Phoronix Test Suite is een open-source, geautomatiseerd benchmarkplatform dat meer dan 450 testprofielen en meer dan 100 testsuites ondersteunt via OpenBenchmarking.org. Het platform regelt alles, van het installeren van afhankelijkheden tot het uitvoeren van tests en het verzamelen van resultaten, waardoor het ideaal is voor prestatievergelijkingen, hardwarevalidatie en continue integratie. We zullen de prestaties bekijken in Stream-, 7-Zip- en LLVM-tests.
Bij het bekijken van de Phoronix-benchmarksuite zagen we een vrij gelijkmatige verdeling tussen het AMD Ryzen AI Halo-platform en de NVIDIA DGX Spark. Het Ryzen AI Halo-systeem presteerde consistent beter bij CPU-intensieve taken, met een voorsprong van 11% op de DGX Spark bij 7-Zip-compressie, 38% bij 7-Zip-decompressie en een 14% snellere voltooiing van de LLVM-compilatietest. De DGX Spark daarentegen toonde een sterkere, aanhoudende geheugenbandbreedte, met een voorsprong van respectievelijk 17%, 13% en 15% in de STREAM Scale-, Triad- en Add-tests. Halo behield een voorsprong van 18% in de STREAM Copy-benchmark, wat illustreert dat, hoewel beide systemen zeer capabel zijn, het Ryzen AI Halo-platform de voorkeur geeft aan algemene rekenprestaties, terwijl de DGX Spark een hogere doorvoer laat zien bij taken die gericht zijn op geheugenbandbreedte.
| Test | AMD Ryzen AI Halo | NVIDIA DGX-Spark | Winnaar |
|---|---|---|---|
| 7-Zip Compressie (MIPS) | 186,921 | 169,052 | Halo (+11%) |
| 7-Zip Decompressie (MIPS) | 146,109 | 106,084 | Halo (+38%) |
| STREAM kopiëren (MB/s) | 145,363 | 123,730 | Halo (+18%) |
| STREAM-schaal (MB/s) | 110,611 | 128,970 | Spark (+17%) |
| STREAM Triad (MB/s) | 107,105 | 121,433 | Spark (+13%) |
| STREAM Toevoegen (MB/s) | 107,022 | 122,815 | Spark (+15%) |
| LLVM-compilatie (Make, seconden) | 431.8 | 504.3 | Halo (14% sneller) |
Om de opslagprestaties te meten aan de hand van gangbare industriestandaarden, gebruiken we fio. Onze traditionele SSD-test conditioneert elke schijf met twee volledige schijfvullingen als secundaire schijf; hier hebben we elke schijf in-system getest, via het bestandssysteem. We hebben de NVIDIA-systemen eerder getest met GDSIO, maar AMD biedt geen vergelijkbare GPU-directe opslagtest aan. Door fio op bestandssysteemniveau op beide platforms uit te voeren, creëren we een gelijk speelveld, wat belangrijker is dan het afzonderlijk benchmarken van de schijven.
Zowel de NVIDIA DGX Spark (Founders Edition) als de AMD Ryzen AI Halo worden geleverd met een PCIe Gen5-schijf, dus op papier hebben beide platforms een identieke maximale bandbreedte. In de praktijk draait de schijf van de Halo echter op PCIe Gen4-linksnelheden in dit systeem, waardoor de beschikbare bandbreedte aanzienlijk lager ligt dan wat de schijf zelf aankan. Deze beperking in linksnelheid is belangrijk om in gedachten te houden, aangezien deze een aanzienlijk deel van het bandbreedteverschil tussen de twee platforms verklaart.
In dit gedeelte concentreren we ons op de volgende FIO-benchmarks:
Bij een single-threaded, diepe sequentiële leesbewerking van 128K (64/1) behaalde de NVIDIA DGX Spark een snelheid van 13,399.6 MB/s, bijna het dubbele van de 6,897.5 MB/s van de AMD Ryzen AI Halo. De latentie volgde hetzelfde patroon: de gemiddelde latentie van de Spark bij deze diepte was 0.597 ms, terwijl de Halo achterbleef met 1.159 ms, bijna twee keer zo traag per aanvraag ondanks dat de Halo slechts de helft van de data verwerkte. Dit is het duidelijkste verschil over de hele test, wat suggereert dat de opslagstack van de Spark is ontworpen voor een hogere, aanhoudende sequentiële doorvoer bij deze blokgrootte.
De schrijfprestaties laten een vergelijkbaar beeld zien. Bij een IODepth van 16/1 bereikte Spark 2,984.4 MB/s, vergeleken met de 1,392.4 MB/s van de Halo, een voordeel van 114% voor NVIDIA. Ook de latentie was in het voordeel van Spark, met 0.67 ms tegenover 1.436 ms voor de Halo. Gecombineerd met de leesresultaten is sequentiële verwerking van 128K veruit de sterkste prestatie van Spark ten opzichte van de Halo.
Hier komt het latencyvoordeel van de Halo bij lage wachtrijdieptes echt tot uiting. Bij een wachtrijdiepte van 1/1 reageerde de Halo in slechts 0.051 ms, tegenover 0.275 ms voor de Spark, ruim 5 keer sneller voor één openstaand verzoek. Dit verschil blijft bestaan bij lage tot gemiddelde wachtrijdieptes, waarbij de Halo ruim onder de 0.2 ms blijft, terwijl de Spark gedurende het grootste deel van de test in de range van 0.2–0.45 ms schommelt.
Het verhaal slaat echter om bij grotere schaal. Wanneer de wachtrijdiepte en het aantal threads oplopen tot boven de 16/4, schiet de bandbreedte van de Spark omhoog en stabiliseert zich rond de 9.8 GB/s vanaf 8/16, met een piek van 10,019.1 MB/s (160.3 IOPS) bij 32/8. De Halo bereikt dat plafond nooit: de bandbreedte blijft steken in het bereik van 6.0–6.9 GB/s, met een piek van 6,926.5 MB/s (110.8 IOPS) bij 4/8. De bandbreedtecurve is merkbaar grilliger, met schommelingen tussen ongeveer 2 en 6.8 GB/s, afhankelijk van de combinatie van wachtrijdiepte en threads, in plaats van een geleidelijke stijging.
Ook bij volledige belasting slaat de latentie in het voordeel van Spark uit: bij 32/16 loopt de gemiddelde latentie van de Halo op tot 5.185 ms, vergeleken met 3.204 ms voor Spark. Dit betekent dat de Halo de lagere responsiviteit bij een lage wachtrijdiepte compenseert met slechtere prestaties aan het einde van de wachtrij zodra deze volledig gevuld is.
De bandbreedte voor willekeurig schrijven naar 64 kB ligt dichter bij elkaar tussen de twee platforms dan de leesbandbreedte, hoewel de vormen van de curves erg verschillen. De bandbreedte van de Halo is grilliger: deze springt herhaaldelijk boven de 2.5 GB/s (met een piek van 2,929.1 MB/s / 46.9K IOPS bij 32/4) voordat deze terugvalt naar het bereik van 1.1–1.5 GB/s bij aangrenzende combinaties. De Spark is relatief stabiel, stabiliseert zich gedurende het grootste deel van de meting in een bandbreedte van 1.7–2.0 GB/s en bereikt een piek van 2,106.6 MB/s (33.7K IOPS) bij 2/16.
De latentie volgt het patroon van de 64K-leesbewerking: de Halo is aanzienlijk sneller bij een lage wachtrijdiepte (0.054 ms bij 1/1 versus 0.217 ms voor de Spark), en beide schijven presteren aanzienlijk minder goed naarmate de wachtrijdiepte en het aantal threads in de dubbele cijfers komen. Bij volledige verzadiging (32/16) bereikt de latentie van de Halo 19.611 ms, vergeleken met 17.857 ms voor de Spark. Beide schijven staan op dit punt duidelijk onder zware schrijfversterkingsbelasting, waarbij de Halo wederom iets slechter presteert aan de bovenkant van de curve.
De bandbreedte blijft gedurende het grootste deel van de meting hoog, waarbij beide schijven schommelen tussen ongeveer 1 en 8 GB/s, afhankelijk van de diepte/thread-combinatie. De Spark haalt de hoogste piek met 8,069.3 MB/s (516.4K IOPS) bij 32/1, terwijl de Halo een piek bereikt van 6,715.8 MB/s (429.8K IOPS) bij 8/4.
De latentie is wederom in het voordeel van de Halo, behalve helemaal bovenaan de wachtrij. Bij 1/1 reageert de Halo in 0.027 ms, tegenover 0.214 ms voor de Spark, en de Halo behoudt gedurende het grootste deel van de sweep een lagere latentie. Alleen bij de diepste combinaties wordt het verschil kleiner. Bij 32/16 ligt de gemiddelde latentie van de Halo van 1.441 ms net onder de 1.599 ms van de Spark, waardoor dit een van de weinige punten is waar de latentiecurve van de Halo de Spark niet overtreft bij verzadiging.
Ook qua bandbreedte liggen we dicht bij elkaar: de Spark haalt een piek van 2,141.6 MB/s (137.1K IOPS) bij 16/1, en de Halo blijft daar niet ver bij achter met 1,970.9 MB/s (126.1K IOPS) bij 1/8.
De latentie is waar de twee sterk van elkaar verschillen. De Halo begint met een grote voorsprong bij een lage wachtrijdiepte (0.022 ms bij 1/1 versus 0.231 ms voor de Spark), maar de latentiecurve stijgt explosief naarmate de wachtrij zich vult. Bij 32/16 is de gemiddelde latentie van de Halo gestegen tot 6.967 ms, ruim boven de 4.306 ms van de Spark op hetzelfde punt. De curve van de Halo is bovendien veel minder voorspelbaar, met scherpe pieken bij verschillende combinaties in het middenbereik, terwijl die van de Spark relatief vlak blijft.
Dit is een van Halo's betere prestaties. Het behaalt zelfs een hogere piekbandbreedte van 6,609.4 MB/s (423.0 IOPS) bij 32/16, vergeleken met de 6,082.6 MB/s (389.3 IOPS) van de Spark bij dezelfde combinatie.
De latentie begint wederom sterk in het voordeel van de Halo (0.047 ms bij 1/1 versus 0.222 ms voor de Spark). De latentiecurve van de Halo is echter veel grilliger over de hele test, met scherpe pieken bij 8/1, 16/1, 8/4 en 8/8 die ver boven de relatief vloeiende (zij het hogere basislijn) curve van de Spark uitstijgen. Helemaal bovenaan de wachtrij overschrijdt de pieklatentie van de Halo van 1.971 ms (bij 16/16) de piek van de Spark van 1.315 ms (bij 32/16), waardoor de Halo consistentie inruilt voor pure snelheid bij lage wachtrijdieptes.
De Spark heeft hier een voordeel qua bandbreedte, met een snelheid van 2,074.1 MB/s (132.7K IOPS) bij 32/1, vergeleken met de 1,503.5 MB/s (96.2K IOPS) van de Halo bij 8/4. De bandbreedtecurve van de Spark is ook aanzienlijk stabieler en blijft gedurende het grootste deel van de meting na de initiële piek in het bereik van 1.6–2.0 GB/s. De Halo daarentegen schommelt sterk tussen ongeveer 0.1 en 1.5 GB/s bij elke combinatie.
De latentie is waar deze test opvalt: de Halo begint lager bij 1/1 (0.154 ms versus 0.224 ms), maar bij 8/16 schiet de gemiddelde latentie omhoog naar een extreme 20.698 ms, bijna 4.5 keer zo hoog als de slechtste latentie van Spark (4.664 ms) in het hele testbereik. Afgezien van die ene piek is de latentie van de Halo verder redelijk, maar het is een significante uitschieter die het vermelden waard is voor elke workload die mogelijk op die specifieke diepte/thread-combinatie terechtkomt.
Bij een lage wachtrijdiepte reageert de Halo aanzienlijk sneller (0.04 ms bij 1/1 versus 0.215 ms voor de Spark) en behoudt hij een latencyvoordeel in het grootste deel van het lage tot middelhoge bereik van de test. Maar de Spark loopt op grote schaal duidelijk voorop qua doorvoer: de piek-IOPS bereikt 1,750.7K (6,838.8 MB/s) bij 32/16, ruim boven de piek van de Halo van 1,050.4K IOPS (4,103.2 MB/s) bij 32/8.
Interessant genoeg keert het latentiepatroon om bij een hoge wachtrijdiepte. De latentiecurve van Spark blijft relatief stabiel, zelfs wanneer de diepte en het aantal threads toenemen, met een piek van slechts 0.292 ms. De Halo daarentegen vertoont een scherpe piek bij 16/16 (0.513 ms) en opnieuw bij 32/16 (1.009 ms), waarmee de latentie meer dan drie keer hoger ligt dan de stabiele basiswaarde. Dit betekent dat de uitstekende responsiviteit bij een lage wachtrijdiepte niet doorzet tot volledige verzadiging.
Dit is het grootste IOPS-verschil in de test. De willekeurige 4K-schrijfprestaties van de Spark stijgen sterk naarmate de wachtrijdiepte en het aantal threads toenemen, en bereiken 490.4K IOPS (1,915.6 MB/s) bij 8/16. De Halo daarentegen bereikt een veel eerder plateau en een veel lager niveau, met een maximum van 125.6K IOPS (490.7 MB/s) bij 4/4 en komt gedurende de rest van de test nooit boven de 110-115K IOPS uit. De Spark presteert hier bijna vier keer zo goed als de Halo.
De latentie begint opnieuw in het voordeel van de Halo bij een lage wachtrijdiepte (0.079 ms versus 0.235 ms bij 1/1). Bij 32/16 is de gemiddelde latentie van de Halo gestegen naar 4.546 ms, terwijl die van de Spark relatief beheersbaar blijft op 1.792 ms. In combinatie met het verschil in IOPS is dit de test waarbij het voordeel van de Spark het meest uitgesproken en consistent is over het volledige bereik van wachtrijdieptes en threads.
vLLM is een van de populairste high-throughput inferentie- en serverengines voor LLM's. De vLLM online serverbenchmark evalueert de daadwerkelijke serverprestaties van deze inferentie-engine onder gelijktijdige verzoeken. Het simuleert productieworkloads door verzoeken te sturen naar een draaiende vLLM-server, met configureerbare parameters zoals de verzoekfrequentie, de lengte van de invoer- en uitvoergegevens en het aantal gelijktijdige clients. De benchmark meet belangrijke statistieken, waaronder doorvoer (tokens per seconde), tijd tot het eerste token en tijd per uitvoertoken (TPOT), waardoor gebruikers inzicht krijgen in de prestaties van vLLM onder verschillende belastingomstandigheden.
We hebben de inferentieprestaties getest met een uitgebreide reeks modellen, die verschillende architecturen, parameterschalen en kwantiseringsstrategieën omvatten, om de doorvoer te evalueren bij verschillende gelijktijdigheidsprofielen.
Gelijke ISL/OSL (256/256): De Halo schaalde naar 222 tok/s bij een batchgrootte van 64, terwijl de Spark 701 bereikte (ongeveer 3.2 keer minder).
Prefill Heavy (8k/1k): De doorvoer van de Halo bereikte een piek bij batch 32 (427 tok/s), daalde vervolgens naar 314 bij batch 64, terwijl de Spark steeg naar 2,760 (ongeveer 8.8x) — het grootste verschil in de reeks.
Decode Heavy (1k/8k): De Halo haalde 127 tok/s, vergeleken met de 305 van de Spark bij een batchgrootte van 64 (ongeveer 2.4x).
Gelijke ISL/OSL (256/256): Spark was in elke batch de beste, met een schaalbaarheid van 1,917 tok/s versus 617 tok/s bij batch 64 (Spark ongeveer 3.1 keer sneller).
Prefill Heavy (8k/1k): Spark's sterkste voorsprong, oplopend tot 3,672 tok/s versus 881 tok/s bij een batchgrootte van 64 (Spark ongeveer 4.2 keer zo snel).
Decode Heavy (1k/8k): Spark loopt overal voor en bereikt 728 tok/s tegenover 330 tok/s bij batch 64 (Spark ligt ongeveer 2.2 keer voor).
Gelijke ISL/OSL (256/256): De Halo schaalde op naar 376 tok/s bij een batchgrootte van 64, ongeveer de helft van Spark's 729 (ongeveer 1.9x) — een van de meest nauwkeurige resultaten voor gelijke ISL/OSL.
Voorvullen zwaar (8k/1k): De Halo bereikte een piek bij batch 32 (408 tok/s), daalde vervolgens naar 362 bij batch 64, en bleef daarmee achter bij Spark's 1,663 (ongeveer 4.6x).
Decode Heavy (1k/8k): De Halo haalde 188 tok/s, vergeleken met de 357 van Spark bij een batchgrootte van 64 (ongeveer 1.9x).
Gelijke ISL/OSL (256/256): De Halo leidde in batch 1 (9 vs 8 tok/s), stabiliseerde zich vervolgens op 202 tok/s bij batch 64, terwijl de Spark op 498 stond (ongeveer 2.5 keer achter).
Voorvullen zwaar (8k/1k): De Halo bereikte zijn piek bij batch 32 (188 tok/s) en daalde licht naar 164 bij batch 64, waarmee hij achterbleef bij de Spark met 540 (ongeveer 3.3x).
Decode Heavy (1k/8k): Bijna gelijk over de hele linie, bereikte de Halo 119 tok/s tegenover de 132 van de Spark bij batch 64 (een verschil van ongeveer 11%).
Gelijke ISL/OSL (256/256): De Halo schaalde soepel van 25 tok/s bij batch 1 naar 407 tok/s bij batch 64, en volgde de Spark op de voet tot en met batch 4, waarna de Spark een voorsprong nam tot 1,330 (Halo bleef ongeveer 3.3 keer achter op het hoogtepunt).
Voorvullen zwaar (8k/1k): De Halo bereikte 546 tok/s bij een batchgrootte van 64, wat ongeveer de helft is van de 1,059 tok/s van de Spark.
Decode Heavy (1k/8k): Het meest competitieve scenario voor de Halo, met een snelheid van 235 tok/s tegenover 263 tok/s voor de Spark bij een batchgrootte van 64 (binnen ongeveer 12%).
Gelijke ISL/OSL (256/256): De Halo piekte op 267 tok/s bij een batchgrootte van 64, ver achter de 3,573 van de Spark — FP4 laat het grootste verschil zien (ongeveer 13.4x).
Voorvullen met zware ladingen (8k/1k): De Halo bereikte 457 tok/s bij een batchgrootte van 64, vergeleken met de 2,713 tok/s van de Spark (ongeveer 5.9 keer zoveel).
Decode Heavy (1k/8k): De Halo schaalde op naar 146 tok/s, vergeleken met de 588 tok/s van de Spark bij een batchgrootte van 64 (ongeveer 4x).
De AMD Ryzen AI Halo betreedt een categorie die NVIDIA in feite zelf heeft gecreëerd met de DGX Spark, en probeert de Spark niet te overtreffen. In onze vLLM-tests had de Spark in de meeste scenario's een doorvoervoordeel van 2 tot 4 keer bij hogere gelijktijdigheid, oplopend tot 8.8 keer bij GPT OSS 120B-taken met veel prefill en slechts tot ongeveer 10% bij een paar decode-intensieve tests. Bovendien won het opslagsysteem van de Spark bijna elke fio-test bij verzadiging. Wat de Halo wél biedt, is dezelfde 128 GB aan uniform geheugen en een maximum van 200 miljard parameters in een vergelijkbare behuizing, voor $ 3,999 tegenover de $ 4,699 van de Spark Founders Edition (hoewel sommige OEM's ze voor minder dan $ 4,000 aanbieden), in een volwaardige x86-machine die Windows 11 of Linux draait in plaats van alleen DGX OS.
Los van de Spark is de Halo de krachtigste Ryzen AI Max+ 395-implementatie die we hebben getest. Hij behaalde de hoogste scores ten opzichte van de HP Z2 Mini G1a en ZBook Ultra G1a in bijna elke Windows-test die we hebben uitgevoerd: 37,316 in Cinebench R23 multi-core, 184.2 GIPS in 7-Zip tegenover 151.6 en 156.8 voor de HP's, de hoogste scores voor tekst- en beeldgeneratie in Procyon AI, en de snelste y-cruncher-tijden bij 5 en 10 miljard cijfers. Op Linux won hij de CPU-intensieve Phoronix-tests van de Spark met overmacht, met een compressiesnelheid die 11% sneller was in 7-Zip en een compilatietijd van 14% voor LLVM. Dit is in de eerste plaats een compact werkstation, waarbij de rol van AI-ontwikkelaar er bovenop is geplaatst in plaats van deze te vervangen.
Ontwikkelaars die maximale lokale tokens per seconde nodig hebben, of die van plan zijn om nodes te clusteren via een snelle fabric, zouden nog steeds de Spark moeten kopen; de 10GbE- en vLLM-limieten van de Halo komen daar niet bij in de buurt. Voor ontwikkelaars die bouwen met ROCm, teams die Windows nodig hebben, of iedereen die één apparaat wil voor professionele workloads en lokaal modelwerk, is de Halo de betere keuze. De standaard M.2 2280-bay en het vooraf afgestelde variabele grafische geheugen (VGM) verhelpen twee van de meest voorkomende klachten van Spark-gebruikers. AMD heeft ook aangekondigd dat het platform in het derde kwartaal wordt uitgebreid met Ryzen AI Max PRO 400-serie processoren met tot 192 GB aan unified memory, dus kopers die op zoek zijn naar grotere modellen hebben een duidelijke mogelijkheid om over te stappen zonder van platform te veranderen.
De Lenovo ThinkPad P14s Gen 7 is uitgerust met een Intel Core Ultra 7 366H-processor uit de 3e serie met Intel vPro en NVIDIA's RTX-videokaart…
De naamgeving van Dell plaatst de Pro 5 14 een trede lager dan de Pro 7 in hun zakelijke assortiment, maar de specificaties…
Met een gewicht van 2.80 pond en een dikte van 16.45 millimeter op het dikste punt is de Dell Pro 7 14 Intel een van de...
Dell stuurde ons deze testronde vier Pro-laptops, in twee formaten, twee productcategorieën en met zowel AMD- als Intel-platforms.
De AI-infrastructuur van bedrijven is verschoven van het optimaliseren van trainingsmodellen naar het leveren ervan, en dat verandert de economie. Training is een…
De Dell Pro 5 16 is het instapmodel met groot scherm in Dells zakelijke Pro-laptopserie en tevens het topmodel…