StorageReview.com

Recenzia AMD Ryzen AI Halo: Stolný počítač s dvoma operačnými systémami a 200B parametrami konkuruje DGX Spark

Spotrebiteľ  ◇  Workstation

Kremík od AMD sa tu pravdepodobne objavil ako prvý: mini počítače a notebooky Strix Halo sa dodávali so 128 GB unifikovanej pamäte dávno predtým, ako sa na scéne objavila NVIDIA. Ale lokálne AI desktopové počítače ako kategóriu NVIDIA v podstate vytvorila, keď vložila superčip Grace Blackwell do jednolitrovej krabice a nazvala ho DGX Spark . Prezentácia bola jednoduchá: stroj pre vývojárov s dostatkom unifikovanej pamäte na uloženie schopných modelov, umiestnený na stole namiesto meraného v cloude. AMD Ryzen AI Halo je odpoveďou AMD na tento stroj. AMD ho oznámila spolu s radom Ryzen AI Max PRO 400 v máji 2026; predobjednávky sa začali v júni exkluzívne prostredníctvom Micro Center a v obchodoch bude dostupný od 10. júla. Ryzen AI Halo prichádza s podobnou veľkosťou, 128 GB unifikovanej pamäte, cenou 3 999 dolárov a krátkym zoznamom rozhodnutí, ktoré z neho robia výrazne odlišnú ponuku od Sparku.

Pohľad spredu na AMD Ryzen AI Halo.

AMD označuje Halo za svoju prvú platformu pre vývojárov umelej inteligencie, ktorá vývojárom poskytuje rýchlu a nenáročnú cestu k lokálnemu vytváraniu a spúšťaniu umelej inteligencie. Pod kapotou sa nachádza Ryzen AI Max+ 395, 16-jadrový, 32-vláknový procesor „Zen 5“ s integrovanou grafikou Radeon 8060S (40 výpočtových jednotiek RDNA 3.5) a NPU XDNA 2 s výkonom 50 TOPS, to všetko v rámci platformy, ktorú AMD predáva s kombinovanou priepustnosťou umelej inteligencie až 126 TOPS. 128 GB pamäť LPDDR5x pracuje s rýchlosťou 8000 MT/s, čo poskytuje šírku pásma 256 GB/s, a celá platforma je napájaná z jediného vstupu USB-C s výkonom 120 W. AMD uvádza, že pamäťový fond je dostatočný na uloženie modelov s až 200 miliardami parametrov v pamäti zariadenia. Ide o kompletnú mini-pracovnú stanicu x86, čo je základom najdôležitejšieho rozdielu.

Tým rozdielom je Windows. Spark používa operačný systém DGX založený na Linuxe od spoločnosti NVIDIA a nič iné; Halo spúšťa systém Windows 11 alebo vývojársky obraz Linuxu od spoločnosti AMD na rovnakom hardvéri. Natívna podpora Windowsu bola najčastejšou požiadavkou, ktorú sme počuli od ľudí, ktorí si pozerali na Spark, a to mení formu, pre koho je zariadenie určené. Vlastné umiestnenie AMD hovorí o tom istom bode: Windows a Linux verzus Spark iba s Linuxom ( aspoň k dnešnému dňu ).

Tri ďalšie rozhodnutia odlišujú Halo od Sparku a každé z nich rieši sťažnosť, ktorú sme počuli na súčasného výrobcu. Halo používa štandardný SSD disk M.2 2280 namiesto menej bežného disku 2242, ktorým je Spark vybavený, čo otvára oveľa väčšiu škálu možností na trhu s náhradnými dielmi vrátane kapacity 8 TB pre každého, kto chce disk vymeniť. Dodáva sa s variabilnou grafickou pamäťou prednastavenou na maximálnu alokáciu v oboch operačných systémoch, takže veľké modely sa načítavajú bez manuálneho ladenia. Šasi je tiež obalené podsvieteným stavovým krúžkom, čo je malá korekcia oproti tmavým, nesvietiacim jednotkám Spark, ktoré niektorí kupujúci dostali, v závislosti od výrobcu OEM. Cena prístupu AMD sa zobrazuje na zadnej strane krabice, kde nie je žiadna vysokorýchlostná tkanina, iba 10GbE, čo obmedzuje možnosti klastrovania viacerých uzlov. To sú kompromisy a definujú pracovné zaťaženie, na ktoré je tento stroj postavený, ešte pred spustením akéhokoľvek benchmarku.

Rozobratá doska AMD Ryzen AI Halo.

Pri cene záleží na nuansách. Halo sa uvádza za 3 999 dolárov s 2 TB SSD diskom, čo ho zaraďuje priamo na bežnú cenu základného systému triedy Spark. Porovnanie závisí od toho, ktorý Spark máte na mysli. Vlastný DGX Spark od spoločnosti NVIDIA s väčším diskom sa teraz predáva bližšie k 4 700 dolárom, čo súvisí s nedostatkom dodávok LPDDR5X a NAND. Základné systémy Grace Blackwell od spoločností ASUS a ďalších sa stále predávajú za približne 4 000 dolárov a sú dnes uvedené na Amazone (partnerský odkaz). V porovnaní s východiskovou hodnotou kategórie je Halo na rovnakej úrovni a jeho argumentácia spočíva skôr na vyššie uvedených rozhodnutiach než na podhodnotení konkurencieschopnosti.

Halo sme spustili cez lokálny balík umelej inteligencie od StorageReview v systémoch Windows aj Linux a výsledky sú prezentované spolu s analýzou dizajnu a softvéru v tejto recenzii.

Kľúčové poznatky

  • Alternatíva k duálnemu OS x86: Ryzen AI Halo je jediný počítač v kategórii Spark, ktorý spúšťa Windows 11 alebo Linux na plnej platforme x86, a to za 3 999 dolárov s 2TB SSD diskom, zatiaľ čo DGX Spark Founders Edition stojí 4 699 dolárov.
  • Pamäť na uloženie veľkých modelov: 128 GB unifikovanej pamäte LPDDR5x-8000 s rýchlosťou 256 GB/s podporuje lokálne modely s až 200 miliardami parametrov s prednastavenou variabilnou grafickou pamäťou, takže veľké modely sa načítavajú bez manuálnej konfigurácie.
  • Najsilnejší Ryzen AI Max+ 395, ktorý sme testovali: Halo prekonal HP Z2 Mini G1a a ZBook Ultra G1a takmer vo všetkých úlohách so systémom Windows, vrátane 37 316 v Cinebench R23 multi-core, 184.2 GIPS v 7-Zip a popredných skóre v generovaní textu (Phi 1 192) a generovaní obrázkov (SD 1.5 FP16 937) s umelou inteligenciou Procyon.
  • Výhry CPU, straty inferencie vs. Spark: V Linuxe Halo jednoznačne porazil DGX Spark v práci s CPU, komprimoval o 11 % rýchlejšie a dekomprimoval o 38 % rýchlejšie v 7-Zip a dokončil kompiláciu LLVM o 14 % skôr, ale zaostával 2x až 4x vo väčšine scenárov poskytovania vLLM pri vyššej súbežnosti, pričom v práci s GPT OSS 120B s vysokým predfillom sa výkon dostal na 8.8x.
  • Použiteľné úložisko, skromné ​​sieťové pripojenie: Štandardná šachta M.2 2280 otvára možnosti dodatočných upgradov na 8 TB, hoci platforma zámerne prepojuje dodávaný Gen5 Micron 4600 až na Gen4 a jediný 10GbE port bez vysokorýchlostnej štruktúry vylučuje viacuzlové klastrovanie, ktoré umožňuje 200G ConnectX-7 v Spark.

technické údaje

špecifikácia Systém AMD Ryzen AI Halo
procesor
CPU Procesor AMD Ryzen™ AI Max+ 395
16 jadier / 32 vlákien (architektúra Zen 5)
GPU Integrovaná grafická karta AMD Radeon™ 8060S
40 výpočtových jednotiek (architektúra RDNA™ 3.5)
NPU Procesor NPU AMD XDNA™ 2
Memory Masážne stoly
Typ pamäte LPDDR5x
Kapacita pamäte 128GB
rýchlosť pamäte 8000 XNUMX MT / s
Šírka pamäte 256GB / s
Uskladnenie
Uskladnenie 2TB M.2 NVMe SSD (SED)
Siete a pripojenie
Ethernet 1 × 10GbE
Wi-Fi Wi-Fi 7
bluetooth bluetooth 5.4
Vstup / výstup
USB 3 × USB-C, 1 × USB-C (vstup napájania)
Zobrazenie výstupu 1 × HDMI 2.1b
systém
TDP 120 W
operačný systém Linux alebo Windows 11
Rozmery 150 × 150 × 45.4 mm (5.9 × 5.9 × 1.79 palca)
Váha Menej ako 1.2 kg (2.65 libry)

Konštrukcia a dizajn AMD Ryzen AI Halo

Systém AMD Ryzen AI Halo využíva kompaktný tvarový faktor podobný „NVIDIA Spark“ s rozmermi iba 150 × 150 × 45.4 mm a hmotnosťou menej ako 1.2 kg (2.65 libry). Hliníkové šasi sa vyznačuje agresívnym geometrickým vetracím vzorom v hornej a prednej časti, čo systému dodáva charakteristický vzhľad a zároveň maximalizuje prúdenie vzduchu do chladiaceho systému. Napriek svojim malým rozmerom je platforma navrhnutá ako plnohodnotná desktopová pracovná stanica s umelou inteligenciou schopná spracovať aplikácie pracovnej stanice, lokálnu inferenciu LLM a pracovné úlohy vývoja s umelou inteligenciou.

predné

Predná strana systému je zámerne čistá a pozostáva takmer výlučne z veľkej vetracej mriežky, ktorá sa tiahne po celej šírke šasi. Namiesto umiestnenia portov na prednej strane spoločnosť AMD venuje túto oblasť prúdeniu vzduchu, čo umožňuje vstup studeného vzduchu do systému cez veľký vzorovaný vstupný otvor a zároveň zachováva prehľadnosť prednej strany. Strieborný akcent pozdĺž spodnej časti šasi vytvára jemný vizuálny kontrast s inak matným čiernym krytom.

Zadný vstup / výstup

Zadné pripojenie AMD Ryzen AI Halo.

Všetky externé pripojenia sa nachádzajú na zadnej strane systému. Zľava doprava zadný panel obsahuje nasledujúce prvky:

  • Napájací vstup USB-C
  • Port USB-C s alternatívnym režimom DisplayPort
  • Dva ďalšie porty USB-C
  • Výstup HDMI 2.1b
  • 10GbE RJ45 Ethernet
  • Otvor pre bezpečnostný zámok Kensington

Systém ponúka tri dátové porty USB-C spolu s vyhradeným napájacím konektorom USB-C, čo umožňuje súčasné pripojenie viacerých vysokorýchlostných periférií a displejov. HDMI 2.1b poskytuje natívny obrazový výstup, zatiaľ čo integrované ethernetové rozhranie 10GbE robí platformu vhodnou pre vysokorýchlostné pripojenie NAS, prenos dátových súborov s umelou inteligenciou a lokálne vývojové prostredia.

Interný dizajn

Spodná strana dosky Ryzen AI Halo má veľký perforovaný vetrací otvor, ktorý nasáva vzduch na chladenie komponentov namontovaných pozdĺž spodnej časti dosky, a štyri gumené nožičky v rohoch udržiavajú jednotku stabilnú na stole alebo poličke.

Spodná časť AMD Ryzen AI Halo.

Po odskrutkovaní štyroch skrutiek, ktoré upevňujú spodný panel, sa odhalí pozícia M.2 SSD a niekoľko komponentov spodnej dosky systému vrátane konektora Wi-Fi karty. V našom testovanom zariadení je v tejto slote osadený Micron 4600 2TB Gen5 x4 SSD disk, zatiaľ čo zvyšok dosky je od odkrytej spodnej strany chránený čiernou lepiacou fóliou.

Spodný kryt AMD Ryzen AI Halo bol odstránený.

Pokiaľ ide o chladenie, AMD zvolila podobný prístup ako NVIDIA DGX Spark, pričom použila dva ventilátory, ktoré nasávajú vzduch cez rebrovaný chladič a vyfukujú ho von zo zadnej časti šasi.

Chladič a ventilátory AMD Ryzen AI Halo.

Po vybratí chladiacej zostavy sa objaví hlavná doska, ktorá odhaľuje čip APU v strede, lemovaný pamäťovými modulmi po oboch stranách a obvodmi VRM pozdĺž ľavého okraja. Strieborný štvorec viditeľný na čipe nie je tekutý kov ani pasta; je to zvyšok pevnej tepelnej podložky alebo povlaku, ktorý AMD naniesla ako rozhranie medzi čipom a chladičom, čo vysvetľuje jeho jednotný, suchý vzhľad, a nie mokrý, rozmazaný vzhľad, ktorý pasta alebo tekutý kov zvyčajne zanechávajú.

Základná doska AMD Ryzen AI Halo.

Otočením chladiča sa odhalí spodná strana jeho chladiacej dosky, kde sa zrkadlovo leštená časť priamo dotýka čipu. Zároveň sú okolité zóny pamäte a napájania pokryté vopred nanesenými tepelnými podložkami rôznej hrúbky.

Pohľad na spodnú stranu chladiča AMD Ryzen AI Halo.

Testovanie výkonu AMD Ryzen AI Halo

Platformu AMD Ryzen AI Halo sme vyhodnotili v systémoch Windows a Linux, aby sme posúdili jej výkon v aplikáciách pracovných staníc a pri úlohách zameraných na umelú inteligenciu. Pri testovaní v systéme Windows bol systém AMD Ryzen AI Halo porovnaný s dvoma komerčne dostupnými systémami s procesorom Ryzen AI Max+ PRO 395: kompaktnou stolovou pracovnou stanicou HP Z2 Mini G1a a 14-palcovou mobilnou pracovnou stanicou HP ZBook Ultra G1a. Keďže všetky tri systémy zdieľajú rovnakú základnú architektúru procesora a integrovanú grafickú kartu Radeon 8060S, tieto porovnania zdôrazňujú, ako si platforma Halo vedie v rôznych tepelných podmienkach a systémových prevedeniach.

Pohľad zozadu na vrchný kryt AMD Ryzen AI Halo.

Pri testovaní Linuxu sme sa zamerali na vývoj umelej inteligencie a úložisko, pričom sme porovnali systém Ryzen AI Halo s procesorom NVIDIA DGX Spark. Tieto testy sa zamerali na benchmarking úložiska FIO a výkon inferencie vLLM, pričom sme porovnávali vývojársku platformu založenú na systéme Ryzen AI Halo od spoločnosti AMD s účelovým systémom NVIDIA pre vývoj umelej inteligencie na lokálnu inferenciu modelov vo veľkých jazykoch.

Testované jednotky

UL Procyon: Počítačové videnie s umelou inteligenciou

Benchmark Procyon AI Computer Vision poskytuje podrobný prehľad o tom, ako inferenčné enginy AI fungujú na profesionálnej úrovni. Vďaka integrácii enginov od viacerých dodávateľov poskytuje skóre výkonu, ktoré presne odráža možnosti zariadenia. Benchmark hodnotí najmodernejšie modely neurónových sietí porovnaním ich výkonu akcelerácie AI naprieč typmi hardvéru – vrátane CPU, GPU a NPU – čo umožňuje používateľom posúdiť relatívnu efektivitu v rámci rôznych pracovných zaťažení a podmienok.

Na zohľadnenie reálnych úloh umelej inteligencie benchmark používa šesť rôznych modelov neurónových sietí, pričom každý z nich je vybraný pre svoju relevantnosť pre moderné úlohy počítačového videnia. MobileNet V3 je kompaktný model zameraný na mobilné zariadenia určený na identifikáciu objektov v obrazoch, zatiaľ čo Inception V4 vykonáva rovnakú úlohu s hlbšou a komplexnejšou architektúrou.

YOLO V3 (You Only Look Once – Pozrieš sa iba raz) sa špecializuje na detekciu objektov v reálnom čase odhadovaním pravdepodobností objektov. DeepLab V3, postavený na MobileNet V2, sa zameriava na sémantickú segmentáciu obrazu a zhlukovanie pixelov. Real-ESRGAN, výpočtovo najnáročnejší test, zvyšuje rozlíšenie obrazu z 250 × 250 na 1 000 × 1 000. ResNet 50 je robustný klasifikačný model, ktorý umožňuje efektívnejšie trénovanie hlbokých neurónových sietí.

Platforma Ryzen AI Halo poskytovala konzistentne silný výkon inferencie AI v rámci všetkých úloh CPU aj GPU. V testoch CPU dosiahla celkové skóre 216, čím tesne zaostala za HP Z2 Mini s 227 bodmi a pohodlne prekonala HP ZBook Ultra so 186 bodmi. Inferencia GPU bola ešte pôsobivejšia, pričom systém Halo získal najvyššie celkové skóre 553, pred ZBook Ultra (528) a Z2 Mini (528). Zaznamenala tiež najrýchlejšiu inferenciu MobileNet V3 s časom 0.38 ms a náročnú úlohu REAL-ESRGAN dokončila za 185.08 ms v porovnaní s 211.76 ms na Z2 Mini a 200.40 ms na ZBook Ultra.

UL Procyon: Inferencia počítačového videnia s využitím umelej inteligencie (čím nižšia, tým lepšia) AMD Ryzen AI Halo (Ryzen AI Max+ 395 | Radeon 8060S) HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S)
Časy CPU
Celkové skóre počítačového videnia s umelou inteligenciou (vyššie je lepšie) 216 227 186
MobileNet V3 0.73 ms 0.75 ms 1.09 ms
ResNet 50 6.02 ms 5.99 ms 6.84 ms
Začiatok V4 17.18 ms 17.12 ms 19.80 ms
DeepLab V3 29.21 ms 21.20 ms 28.27 ms
YOLO V3 35.60 ms 36.58 ms 41.64 ms
REAL-ESRGAN 1,931.13 ms 1,892.10 ms 2,138.97 ms
Časy GPU
Celkové skóre počítačového videnia s umelou inteligenciou (vyššie je lepšie) 553 528 583
MobileNet V3 0.38 ms 0.42 ms 0.46 ms
ResNet 50 4.04 ms 3.85 ms 3.27 ms
Začiatok V4 13.26 ms 15.15 ms 11.62 ms
DeepLab V3 12.72 ms 10.98 ms 10.72 ms
YOLO V3 11.17 ms 12.64 ms 10.57 ms
REAL-ESRGAN 185.08 ms 211.76 ms 200.40 ms

UL Procyon: Generovanie textu pomocou umelej inteligencie

Benchmark generovania textu s umelou inteligenciou Procyon zefektívňuje testovanie výkonnosti LLM s umelou inteligenciou (AI LLM) tým, že poskytuje stručnú a konzistentnú metódu hodnotenia. Umožňuje opakované testovanie na viacerých modeloch LLM a zároveň minimalizuje zložitosť veľkých modelov a variabilných faktorov. Vyvinutý v spolupráci s poprednými výrobcami hardvéru umelej inteligencie, optimalizuje použitie lokálnych akcelerátorov umelej inteligencie pre spoľahlivejšie a efektívnejšie hodnotenie výkonnosti. Nižšie uvedené výsledky boli namerané pomocou TensorRT.

Referenčná platforma Ryzen AI Halo viedla všetky testované jazykové modely v generovaní textu Procyon AI. Dosiahla najvyššie celkové skóre Phi s hodnotou 1 192 v porovnaní s 965 pre HP Z2 Mini a 922 pre HP ZBook Ultra. Mistral sledoval podobný trend so skóre 998, pred 850 a 829, zatiaľ čo Llama3 skončila s hodnotením 847, čím prekonala konkurenčné systémy s hodnotami 766 a 756. Platforma Halo tiež skrátila čas do prvého tokenu v každom modeli, pričom prvý token Phi vygenerovala za iba 0.996 sekundy, čo je takmer polovičná latencia systémov HP. Hoci priepustnosť generovania tokenov občas zvýhodňovala Z2 Mini, výrazne nižšia latencia spustenia platformy Halo viedla k najlepším celkovým skóre v benchmarku.

UL Procyon: Generovanie textu pomocou umelej inteligencie AMD Ryzen AI Halo
(Ryzen AI Max+ 395 | Radeon 8060S)
HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S)
Celkové skóre Phi 1,192 965 922
Čas výstupu Phi do prvého tokenu 0.996 sekúnd 1.898 sekúnd 1.956 sekúnd
Výstupné tokeny Phi za sekundu 55.271 tokenov/s 68.967 tokenov/s 64.986 tokenov/s
Celkové trvanie fí 56.237 sekúnd 52.666 sekúnd 55.501 sekúnd
Celkové skóre Mistralu 998 850 829
Čas do dosiahnutia prvého tokenu na výstupe Mistralu 1.603 sekúnd 2.734 sekúnd 2.783 sekúnd
Výstupné tokeny Mistral za sekundu 35.027 tokenov/s 43.358 tokenov/s 41.992 tokenov/s
Celkové trvanie Mistralu 88.582 sekúnd 81.716 sekúnd 84.065 sekúnd
Celkové skóre Llama3 847 766 756
Čas výstupu Llama3 do prvého tokenu 1.963 sekúnd 2.545 sekúnd 2.578 sekúnd
Výstupné tokeny Llama3 za sekundu 34.630 tokenov/s 36.752 tokenov/s 36.243 tokenov/s
Celkové trvanie Llama3 92.026 sekúnd 91.987 sekúnd 93.200 sekúnd
Celkové skóre Llama2 N / A 936 929
Čas výstupu Llama2 do prvého tokenu Nie je k dispozícii, sekundy 3.813 sekúnd 3.860 sekúnd
Výstupné tokeny Llama2 za sekundu Nie je k dispozícii tokeny 24.685 tokenov/s 24.619 tokenov/s
Celkové trvanie Llama2 Nie je k dispozícii, sekundy 136.077 sekúnd 136.720 sekúnd

UL Procyon: Generovanie AI obrazu

Benchmark generovania obrázkov s využitím umelej inteligencie od Procyon ponúka konzistentný a presný spôsob merania výkonu inferencie umelej inteligencie naprieč hardvérom, od nízkoenergetických NPU až po špičkové GPU. Zahŕňa tri testy: Stable Diffusion XL (FP16) pre špičkové GPU, Stable Diffusion 1.5 (FP16) pre stredne výkonné GPU a Stable Diffusion 1.5 (INT8) pre zariadenia s nízkou spotrebou energie. Benchmark používa optimálny inferenčný engine pre každý systém, čím zabezpečuje spravodlivé a porovnateľné výsledky.

Generovanie obrazu sa ukázalo byť jednou z najsilnejších úloh pre Ryzen AI Halo. V teste Stable Diffusion 1.5 FP16 dosiahla platforma Halo celkové skóre 937 v porovnaní so 725 pre Z2 Mini a 648 pre ZBook Ultra, pričom čas generovania sa skrátil na 106.7 sekundy v porovnaní so 137.8 a 154.2 sekundami. Stable Diffusion XL vykázal rovnako silný náskok, pričom systém Halo dokončil test za 878.5 sekundy, čo je približne o 174 sekúnd rýchlejšie ako Z2 Mini a o viac ako 450 sekúnd rýchlejšie ako ZBook Ultra. Platforma tiež dokončila benchmark Stable Diffusion 1.5 INT8 s celkovým skóre 9 158, čo je úloha, ktorú nedosiahol ani jeden z porovnávacích systémov HP.

UL Procyon: Generovanie obrazu pomocou umelej inteligencie AMD Ryzen AI Halo
(Ryzen AI Max+ 395 | Radeon 8060S)
HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S)
Stabilná difúzia 1.5 (FP16) – Celkové skóre 937 725 648
Stabilná difúzia 1.5 (FP16) – celkový čas 106.7 sekúnd 137.815 sekúnd 154.203 sekúnd
Stabilná difúzia 1.5 (FP16) – rýchlosť generovania obrazu 6.670 s/obrázok 8.613 s/obrázok 9.638 s/obrázok
Stabilná difúzia 1.5 (INT8) – Celkové skóre 9,158 N / A N / A
Stabilná difúzia 1.5 (INT8) – celkový čas 27.298 sekúnd N / A N / A
Stabilná difúzia 1.5 (INT8) – rýchlosť generovania obrazu 3.412 s/obrázok N / A N / A
Stabilná difúzia XL (FP16) – Celkové skóre 682 570 451
Stabilná difúzia XL (FP16) – celkový čas 878.493 sekúnd 1,052.468 sekúnd 1,329.592 sekúnd
Stabilná difúzia XL (FP16) – rýchlosť generovania obrazu 54.906 s/obrázok 65.779 s/obrázok 83.100 s/obrázok

SPECworkstation 4

Benchmark SPECworkstation 4.0 je komplexný nástroj na hodnotenie všetkých kľúčových aspektov výkonu pracovných staníc. Poskytuje reálne meranie výkonu CPU, grafiky, akcelerátora a disku, čím poskytuje profesionálom údaje potrebné na informované rozhodovanie o ich investíciách do hardvéru. Benchmark obsahuje špecializovanú sadu testov zameraných na pracovné zaťaženie umelej inteligencie a strojového učenia (AI) ako sú úlohy dátovej vedy a inferenčné testy založené na ONNX Runtime, čo odráža rastúci význam AI/ML v prostrediach pracovných staníc. Zahŕňa sedem vertikál odvetvia a štyri hardvérové ​​subsystémy, čím poskytuje podrobné a relevantné meranie výkonu dnešných pracovných staníc.

SPECworkstation 4 vyzdvihol vyvážené možnosti pracovných staníc platformy Ryzen AI Halo. Dosiahla najvyššie skóre v kategóriách Finančné služby (2.92), Médiá a zábava (2.97), Dizajn produktov (2.22) a Produktivita a vývoj (1.27), čím v týchto kategóriách prekonala HP Z2 Mini aj HP ZBook Ultra. Z2 Mini mierne prevyšovala kategórie Energia (2.50 oproti 2.35) a Biologické vedy (2.60 oproti 2.33). Celkovo referenčná platforma Halo preukázala silný výkon v rámci profesionálnych pracovných zaťažení v benchmarku a zostala konkurencieschopná v každej testovanej kategórii.

SPECworkstation 4.0.0 (Čím vyššia, tým lepšia) AMD Ryzen AI Halo
(Ryzen AI Max+ 395 | Radeon 8060S)
 

HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S)

 

HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S)
energie 2.35 2.50 2.20
Finančné služby 2.92 2.35 1.60
Life Sciences 2.33 2.60 2.20
Médiá a zábava 2.97 2.22 1.90
Produktový dizajn 2.22 2.00 1.74
Produktivita a rozvoj 1.27 1.00 1.03

Luxmark

Luxmark je benchmark GPU, ktorý využíva LuxRender, open-source raytracing renderer, na vyhodnotenie výkonu systému s vysoko detailnými 3D scénami. Tento benchmark je užitočný na posúdenie grafických vykresľovacích schopností serverov a pracovných staníc, najmä pre vizuálne efekty a architektonické vizualizačné aplikácie, kde je presná simulácia svetla kľúčová.

Výsledky Luxmarku ukázali minimálny rozdiel medzi tromi platformami Ryzen AI Max+ 395. Referenčný systém Halo dosiahol najvyššie skóre v teste Food s hodnotou 4 158, čím predbehol Z2 Mini (3 943) a ZBook Ultra (3 915). V teste Hallbench dosiahol skóre 8 014, čo je mierne menej ako Z2 Mini s 8 477, ale viac ako ZBook Ultra s 7 833. Celkovo výsledky naznačujú, že systémy postavené na grafickej karte Radeon 8060S poskytujú veľmi podobný výkon pri sledovaní lúčov bez ohľadu na tvarový faktor.

Luxmark (vyššie je lepšie) AMD Ryzen AI Halo
(Ryzen AI Max+ 395 | Radeon 8060S)
HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S)
Hallbench 8,014 8,477 7,833
Jedlo 4,158 3,943 3,915

7-zipsová kompresia

Benchmark kompresie 7-Zip hodnotí výkon CPU počas kompresie a dekompresie, pričom meria výkon v GIPS (Giga inštrukcie za sekundu) a využití CPU. Vyššie GIPS a efektívne využitie CPU naznačujú vynikajúci výkon.

Platforma Ryzen AI Halo viedla v každej hlavnej kategórii v benchmarku 7-Zip. Dosiahla kompresné hodnotenie 176.7 GIPS v porovnaní so 139.3 GIPS na HP Z2 Mini a 139.6 GIPS na ZBook Ultra. Dekompresný výkon zostal rovnako silný, s hodnotou 191.6 GIPS, čím prekonal 164.0 GIPS na Z2 Mini a 174.0 GIPS na ZBook Ultra. Spoločne dosiahla platforma Halo najvyššie celkové hodnotenie 184.2 GIPS, čím prekonala konkurenčné systémy približne o 20 % a preukázala vynikajúcu celočíselnú priepustnosť pri vytváraní a extrahovaní archívov.

7-Zip kompresný benchmark (vyšší je lepší) AMD Ryzen AI Halo
(Ryzen AI Max+ 395 | Radeon 8060S)
HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S)
Stlačenie
Aktuálne využitie CPU 2,741% 2,734% 2,868%
Aktuálne hodnotenie/spotreba 6.370 GIPS 5.136 GIPS 4.883 GIPS
Súčasné hodnotenie 174.589 GIPS 140.405 GIPS 140.061 GIPS
Výsledné využitie CPU 2,751% 2,718% 2,855%
Výsledné hodnotenie/použitie 6.424 GIPS 5.126 GIPS 4.890 GIPS
Výsledné hodnotenie 176.742 GIPS 139.298 GIPS 139.617 GIPS
Dekompresia
Aktuálne využitie CPU 2,568% 2,343% 2,904%
Aktuálne hodnotenie/spotreba 7.670 GIPS 6.805 GIPS 6.029 GIPS
Súčasné hodnotenie 196.986 GIPS 159.451 GIPS 175.104 GIPS
Výsledné využitie CPU 2,469% 2,414% 2,887%
Výsledné hodnotenie/použitie 7.766 GIPS 6.793 GIPS 6.028 GIPS
Výsledné hodnotenie 191.645 GIPS 163.969 GIPS 174.046 GIPS
Celkové hodnotenie
Celkové využitie CPU 2,610% 2,566% 2,871%
Celkové hodnotenie/používanie 7.095 GIPS 5.959 GIPS 5.459 GIPS
Celkové hodnotenie 184.194 GIPS 151.634 GIPS 156.832 GIPS

Benchmark Blenderu

Blender je open-source 3D modelovacia aplikácia. Tento benchmark bol spustený pomocou nástroja Blender Benchmark. Skóre sa meria vo vzorkách za minútu, pričom vyššie hodnoty znamenajú lepší výkon.

Ďalšou oblasťou, v ktorej Ryzen AI Halo exceloval, bolo vykresľovanie CPU. V scéne Monster dosiahol 244.7 vzoriek za minútu, čím predbehol HP Z2 Mini (224.3) a HP ZBook Ultra (189.3). Junkshop nasledoval so 159.4 vzorkami za minútu v porovnaní so 149.5 a 129.4, zatiaľ čo Classroom dosiahol 131.6 vzoriek za minútu, čím prekonal Z2 Mini (116.3) približne o 13 % a ZBook Ultra (94.1) o takmer 40 %. Tieto výsledky ukazujú, že Ryzen AI Max+ 395 poskytuje vynikajúci výkon viacvláknového vykresľovania napriek kompaktným rozmerom svojej pracovnej stanice.

Blender Benchmark CPU (vzorky za minútu, vyššie je lepšie) AMD Ryzen AI Halo
(Ryzen AI Max+ 395 | Radeon 8060S)
HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S)
Príšera 244.7 vzoriek/m² 224.3 vzoriek/m² 189.29 vzoriek/m²
Vrakovisko 159.4 vzoriek/m² 149.5 vzoriek/m² 129.42 vzoriek/m²
Trieda 131.6 vzoriek/m² 116.3 vzoriek/m² 94.14 vzoriek/m²

Výsledky vykresľovania pomocou GPU boli medzi systémami oveľa bližšie. Referenčná platforma Halo vykresľovala scénu Monster s rýchlosťou 704.2 vzoriek za minútu, čím zaostávala za Z2 Mini (745.6), ale bola pred ZBook Ultra (661.5). Junkshop sa prakticky delil o platformu Halo (366.6) a Z2 Mini (366.5). Zároveň systém Halo dosiahol najvyššie skóre v Classroom s rýchlosťou 361.5 vzoriek za minútu, čím tesne prekonal Z2 Mini (359.0) a ZBook Ultra (333.3). Výsledky naznačujú, že Radeon 8060S poskytuje pozoruhodne konzistentný výkon vykresľovania pomocou GPU naprieč implementáciami.

Blender Benchmark GPU (počet vzoriek za minútu, vyššie je lepšie) AMD Ryzen AI Halo
(Ryzen AI Max+ 395 | Radeon 8060S)
HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S)
Príšera 704.2 vzoriek/m² 745.55 vzoriek/m² 661.50 vzoriek/m²
Vrakovisko 366.6 vzoriek/m² 366.54 vzoriek/m² 341.92 vzoriek/m²
Trieda 361.51 vzoriek/m² 359.01 vzoriek/m² 333.26 vzoriek/m²

y-cruncher

y-cruncher je viacvláknový, škálovateľný program schopný počítať pí a ďalšie matematické konštanty s bilanciou číslic. Od svojho uvedenia na trh v roku 2009 sa stal populárnym nástrojom na benchmarking a záťažové testovanie pre overclockerov a hardvérových nadšencov.

Výsledky y-cruncher sa rozdelili podľa veľkosti výpočtu. Pri výpočtoch s 1 miliardou a 2.5 miliardami číslic všetky tri systémy skončili s odstupom niekoľkých desatín sekundy, pričom systémy HP mali mierny náskok. S rastúcou pracovnou záťažou sa Halo odtiahol a dokončil výpočet s 5 miliardami číslic za 71.948 sekundy v porovnaní so 75.021 sekundami pre Z2 Mini a 78.19 sekundami pre ZBook Ultra. Pri výpočte s 10 miliardami číslic Halo skončil za 151.409 sekundy, čo je zhruba o 6 % viac ako Z2 Mini a o 12 % viac ako ZBook Ultra, čo naznačuje, že šasi stolného počítača lepšie znáša veľké viacvláknové zaťaženie s predlžujúcimi sa časmi behu.

Y-Cruncher (celkový výpočtový čas) AMD Ryzen AI Halo
(Ryzen AI Max+ 395 | Radeon 8060S)
HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S)
1 miliárd 13.193 sekúnd 12.965 sekúnd 12.93 sekúnd
2.5 miliárd 34.578 sekúnd 34.533 sekúnd 34.91 sekúnd
5 miliárd 71.948 sekúnd 75.021 sekúnd 78.19 sekúnd
10 miliárd 151.409 sekúnd 160.252 sekúnd 171.72 sekúnd

Geekbench 6

Geekbench 6 je multiplatformový benchmark merajúci celkový výkon systému.

Geekbench 6 posilnil vyvážený výkonnostný profil platformy Halo. Dosiahla najvyššie skóre v jednom jadre 2 986, čím predbehla HP Z2 Mini (2 862) a ZBook Ultra (2 825). Viacjadrový výkon tiež viedol v porovnaní s 18 068. Radeon 8060S zaznamenal najvyššie skóre OpenCL GPU s hodnotou 92 883, čím tesne prekonal Z2 Mini (91 591) a pohodlne prekonal ZBook Ultra (85 337). Konzistentné vedenie v testovaní CPU a GPU ilustruje všestranný výkon platformy Ryzen AI Max+ 395.

Geekbench 6 (Čím vyššie, tým lepšie) AMD Ryzen AI Halo
(Ryzen AI Max+ 395 | Radeon 8060S)
HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S)
Jednojadrový procesor 2,986 2,862 2,825
Viacjadrový procesor 18,068 17,210 17,562
GPU OpenCL 92,883 91,591 85,337

Cinebench R23

Cinebench R23 je všeobecne uznávaný benchmark na hodnotenie výkonu CPU pri 3D renderovacích úlohách. Vďaka enginu Cinema 4D meria, ako dobre procesor zvláda jednovláknové a viacvláknové úlohy, a ponúka tak prehľad o celkovej odozve a možnostiach paralelného spracovania.

Cinebench R23 ukázal veľmi tesný súboj medzi dvoma desktopovými implementáciami Ryzen AI Max+ 395. Referenčná platforma Halo dosiahla viacjadrové skóre 37 316, čím predbehla HP Z2 Mini s 37 156, zatiaľ čo obe pohodlne prekonali HP ZBook Ultra s 29 112. Výkon v jednom jadre sledoval rovnaký vzorec, pričom platforma Halo dosiahla skóre 2 047 v porovnaní s 2 020 na Z2 Mini a 1 984 na ZBook Ultra. Hoci rozdiely oproti Z2 Mini boli malé, systém Halo konzistentne skončil na vrchole benchmarku.

Cinebench R23 (Vyššie je lepšie) AMD Ryzen AI Halo
(Ryzen AI Max+ 395 | Radeon 8060S)
HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S)
Viacjadrové 37,316 37,156 29,112
Jedno jadro 2,047 2,020 1,984

Cinebench 2024

Cinebench 2024 stavia na základoch R23 zavedením renderovacích testov založených na GPU, pričom si zachováva zameranie na výkon CPU. V tejto časti skúmame iba skóre CPU, ktoré ponúka aktualizovaný pohľad na to, ako dobre každý systém zvláda moderné úlohy 3D renderovania.

Novší benchmark Cinebench 2024 kopíroval výsledky R23. Ryzen AI Halo zaznamenal najvyššie skóre v režime viacerých jadier s hodnotou 1 916, tesne pred HP Z2 Mini (1 906) a udržal si značný náskok pred HP ZBook Ultra (1 579). Výkon v režime jedného jadra tiež zvýhodnil platformu Halo so 116 bodmi v porovnaní so 112 bodmi pre Z2 Mini a 111 bodmi pre ZBook Ultra. Hoci rozdiely medzi stolnými systémami zostali malé, výsledky potvrdzujú schopnosť Ryzen AI Max+ 395 poskytovať konzistentne špičkový výkon pri vykresľovaní CPU.

Cinebench 2024 (Čím vyššie, tým lepšie) AMD Ryzen AI Halo
(Ryzen AI Max+ 395 | Radeon 8060S)
HP Z2 Mini G1a (Ryzen AI Max+ PRO 395 | Radeon 8060S) HP ZBook Ultra G1a 14″ (Ryzen AI Max+ PRO 395 | Radeon 8060S)
Viacjadrové 1,916 1,906 1,579
Jedno jadro 116 112 111

Benchmarky Phoronixu

Phoronix Test Suite je open-source automatizovaná benchmarkingová platforma, ktorá podporuje viac ako 450 testovacích profilov a viac ako 100 testovacích sád prostredníctvom OpenBenchmarking.org. Zaoberá sa všetkým od inštalácie závislostí až po spúšťanie testov a zhromažďovanie výsledkov, vďaka čomu je ideálna na porovnávanie výkonu, overovanie hardvéru a priebežnú integráciu. Pozrieme sa na výkon v testoch Stream, 7-Zip a LLVM.

Pri pohľade na benchmarkový balík Phoronix sme pozorovali pomerne rovnomerné rozdelenie medzi platformou AMD Ryzen AI Halo a NVIDIA DGX Spark. Systém Ryzen AI Halo konzistentne viedol v úlohách zameraných na CPU, pričom prekonal DGX Spark o 11 % v kompresii 7-Zip, o 38 % v dekompresii 7-Zip a dokončil test kompilácie LLVM o 14 % rýchlejšie. DGX Spark na druhej strane vykazoval silnejšiu trvalú šírku pásma pamäte, pričom viedol v testoch STREAM Scale, Triad a Add o 17 %, 13 % a 15 %. Halo si udržal 18 % náskok v benchmarku STREAM Copy, čo ilustruje, že hoci sú oba systémy vysoko výkonné, platforma Ryzen AI Halo uprednostňuje univerzálny výpočtový výkon, zatiaľ čo DGX Spark vykazuje vyššiu priepustnosť v úlohách zameraných na šírku pásma pamäte.

test AMD Ryzen AI Halo NVIDIA DGX Spark víťaz
7-Zip kompresia (MIPS) 186,921 169,052 Halo (+11%)
7-Zip dekompresia (MIPS) 146,109 106,084 Halo (+38%)
STREAM kópia (MB/s) 145,363 123,730 Halo (+18%)
Mierka STREAM (MB/s) 110,611 128,970 Iskra (+17%)
STREAM triáda (MB/s) 107,105 121,433 Iskra (+13%)
Pridanie streamu (MB/s) 107,022 122,815 Iskra (+15%)
Kompilácia LLVM (Make, sekundy) 431.8 504.3 Halo (o 14 % rýchlejší)

Benchmark výkonnosti FIO

Na meranie výkonu úložiska v rámci bežných metrík v odvetví používame fio. Náš tradičný test SSD predbežne predpokladá, že každý disk s dvoma plnými zápismi bude sekundárny disk; tu sme testovali každý disk v systéme, prostredníctvom súborového systému. Predtým sme testovali systémy NVIDIA s GDSIO, ale AMD neponúka porovnateľný test úložiska priamo s GPU, takže spustenie fio na úrovni súborového systému na oboch platformách ich stavia na rovnaké podmienky, čo je dôležitejšie ako samostatné porovnávanie diskov.

NVIDIA DGX Spark (Founders Edition) aj AMD Ryzen AI Halo sa dodávajú s diskom PCIe Gen5, takže na papieri majú obe platformy rovnaké limity pre šírku pásma disku. V praxi však disk Halo v tomto systéme beží na rýchlostiach pripojenia PCIe Gen4, čo obmedzuje dostupnú šírku pásma výrazne pod úroveň, ktorú dokáže samotný disk. Toto obmedzenie rýchlosti pripojenia je potrebné mať na pamäti v tejto časti, pretože predstavuje významnú časť rozdielu v šírke pásma medzi týmito dvoma platformami.

V tejto časti sa zameriavame na nasledujúce benchmarky FIO:

  • 128K sekvenčné
  • 64K Náhodné
  • 16K sekvenčné
  • 16K Náhodné
  • 4K Náhodné

128K sekvenčné čítanie

Pri jednovláknovom sekvenčnom čítaní 128K v hlbokom fronte (64/1) dosiahol NVIDIA DGX Spark rýchlosť 13 399,6 MB/s, čo je takmer dvojnásobok oproti 6 897,5 MB/s u AMD Ryzen AI Halo. Latencia sa vyznačovala rovnakým trendom: priemerná latencia Sparka v tejto hĺbke bola 0.597 ms, zatiaľ čo Halo zaostával s 1.159 ms, čo je takmer dvojnásobok pomalšieho času na požiadavku, a to aj napriek presunu polovice dát. Toto je najvýraznejšia medzera v celom rozsahu, čo naznačuje, že úložný zásobník Sparka je pri tejto veľkosti bloku postavený na vyššej trvalej sekvenčnej priepustnosti.

128K sekvenčný zápis

Strana zápisu vykazuje podobný príbeh. Pri IODepth 16/1 dosiahol Spark rýchlosť 2 984,4 MB/s v porovnaní s 1 392,4 MB/s u Halo, čo predstavuje 114% výhodu pre NVIDIA. Latencia opäť zvýhodnila Spark, a to 0.67 ms oproti 1 436 ms u Halo. V kombinácii s výsledkami čítania je sekvenčná rýchlosť 128K pohodlne najlepším výsledkom Sparku v porovnaní s Halo.

Náhodné čítanie 64K

Tu sa skutočne prejavuje výhoda Halo v oblasti nízkej hĺbky frontu. Pri pomere 1/1 Halo odpovedal len za 0.051 ms oproti 0.275 ms u Sparka, čo je viac ako 5-krát rýchlejšie na jednu nevybavenú požiadavku. Tento rozdiel platí pre nízku až strednú hĺbku frontu, pričom Halo dosahuje latenciu výrazne pod 0.2 ms, zatiaľ čo Spark sa počas väčšiny frontu pohybuje v rozsahu 0.2 – 0.45 ms.

Príbeh sa však obracia v mierke. Keď hĺbka frontu a počet vlákien presiahnu približne 16/4, šírka pásma Sparka sa od 16. augusta ustáli na hodnote okolo 9.8 GB/s, pričom vrchol dosiahne na 10 019,1 MB/s (160.3 tis. IOPS) pri rýchlosti 32/8. Halo tento strop nikdy nedosiahne: saturuje sa v rozsahu 6.0 – 6.9 GB/s a vrcholí na 6 926,5 MB/s (110.8 tis. IOPS) pri rýchlosti 4/8. Jeho krivka šírky pásma je citeľne nepravidelnejšia, kolíše sa medzi približne 2 a 6.8 GB/s v závislosti od kombinácie hĺbky/vlákna, namiesto toho, aby plynulo stúpala.

Latencia pri plnej saturácii sa tiež mení v prospech Sparka: pri hodnote 32/16 sa priemerná latencia Halo zvýšila na 5.185 ms v porovnaní so Sparkovými 3.204 ms, čo znamená, že Halo platí za svoju nízku hĺbku frontu horším správaním sa pri chvoste po plnom načítaní frontu.

64K náhodný zápis

Šírka pásma pre zápis 64K je medzi týmito dvoma platformami bližšia ako šírka pásma pre čítanie, hoci tvary kriviek sa veľmi líšia. Šírka pásma Halo je prudšia: opakovane preskakuje 2.5 GB/s (vrchol dosahuje 2 929,1 MB/s / 46.9 000 IOPS pri 32/4), než klesne späť na rozsah 1.1 – 1.5 GB/s pri susedných kombináciách. Spark je relatívne stabilný, ustáli sa v pásme 1.7 – 2.0 GB/s počas väčšiny rozsahu a vrcholí na 2 106,6 MB/s (33.7 000 IOPS) pri 16/2.

Latencia odzrkadľuje vzorec čítania 64K: Halo je dramaticky rýchlejší pri nízkej hĺbke frontu (0.054 ms pri 1/1 oproti 0.217 ms pre Spark) a oba disky prudko klesajú, keď hĺbka frontu a počet vlákien stúpajú na dvojciferné hodnoty. Pri plnej saturácii (32/16) dosahuje latencia Halo 19.611 ms v porovnaní so 17.857 ms pre Spark. Oba disky sú v tomto bode jednoznačne vystavené vysokému namáhaniu zosilnením zápisu, pričom Halo je opäť o niečo horší na samom vrchole krivky.

16K sekvenčné čítanie

Šírka pásma zostáva počas väčšiny testovania vysoká, pričom oba disky sa pohybujú medzi približne 1 – 8 GB/s v závislosti od kombinácie hĺbky/vlákna. Spark prekonáva vyšší vrchol a dosahuje 8 069,3 MB/s (516.4 tis. IOPS) pri rýchlosti 32/1, zatiaľ čo Halo dosahuje maximum 6 715,8 MB/s (429.8 tis. IOPS) pri rýchlosti 8/4.

Latencia opäť zvýhodňuje Halo všade okrem úplného vrcholu frontu. Pri 1/1 Halo odpovie za 0.027 ms oproti 0.214 ms u Sparka a Halo si udržiava nižšiu latenciu počas väčšiny rozbehu. Iba pri najhlbších kombináciách sa rozdiel zmenší. Pri 32/16 priemerná latencia Halo 1.441 ms klesá tesne pod 1.599 ms u Sparka, čo z neho robí jeden z mála bodov, kde krivka latencie Halo neprekročí Sparkovu pri saturácii.

16K sekvenčný zápis

Šírka pásma je tu tiež blízka: Spark dosahuje maximum 2 141,6 MB/s (137.1 000 IOPS) pri 16/1 a Halo s 1 970,9 MB/s (126.1 000 IOPS) pri 1/8 veľmi nezaostáva.

Latencia je oblasť, kde sa tieto dve hodnoty prudko líšia. Halo začína s nízkou hĺbkou frontu ďaleko vpred (0.022 ms pri 1/1 oproti 0.231 ms u Sparka), ale jeho krivka latencie prudko stúpa, keď sa front zapĺňa. Do 16. marca sa priemerná latencia Halo vyšplhala na 6.967 ms, čo je výrazne viac ako 4.306 ms u Sparka v rovnakom bode. Krivka Halo je tiež oveľa menej predvídateľná, s ostrými nárastmi v niekoľkých kombináciách stredného rozsahu, kde Spark zostáva relatívne plochý.

Náhodné čítanie 16K

Toto je jeden z lepších výsledkov Halo. V skutočnosti dosahuje vyššiu maximálnu šírku pásma 6 609,4 MB/s (423.0 000 IOPS) pri 32/16, v porovnaní s 6 082,6 MB/s (389.3 000 IOPS) u Sparka pri rovnakej kombinácii.

Latencia opäť výrazne začína v prospech Halo (0.047 ms pri 1/1 oproti 0.222 ms pre Spark). Krivka latencie Halo je však v celom rozsahu oveľa volatilnejšia, s ostrými výkyvmi pri 8/1, 16/1, 8/4 a 8/8, ktoré výrazne presahujú relatívne hladkú (aj keď vyššiu základnú) krivku Spark. Na samom vrchole frontu prevyšuje maximálna latencia Halo 1.971 ms (pri 16/16) maximum Spark 1.315 ms (pri 32/16), takže Halo vymieňa konzistenciu za rýchlosť s nízkou hĺbkou frontu.

16K náhodný zápis

Šírka pásma v tomto smere zvýhodňuje Spark, ktorý dosahuje 2 074,1 MB/s (132.7 tis. IOPS) pri rýchlosti 32/1 v porovnaní s 1 503,5 MB/s (96.2 tis. IOPS) u Halo pri rýchlosti 8/4. Krivka šírky pásma Spark je tiež podstatne konzistentnejšia a po počiatočnom náraste sa po väčšinu obdobia drží v rozsahu 1.6 – 2.0 GB/s. V porovnaní s tým Halo prudko kolíše medzi jednotlivými kombináciami približne 0.1 a 1.5 GB/s.

Latencia je to, čo tento test vyniká: Halo začína nižšie, na 1/1 (0.154 ms oproti 0.224 ms), ale na 8/16 jeho priemerná latencia prudko stúpa na extrémnych 20.698 ms, čo je takmer 4.5-násobok najhoršieho prípadu 4.664 ms pre Spark kdekoľvek v rozsahu. Okrem tohto jediného skoku je latencia Halo inak primeraná, ale je to výrazná odchýlka, ktorú stojí za to označiť pre akúkoľvek pracovnú záťaž, ktorá by mohla pristáť na tejto konkrétnej kombinácii hĺbky/vlákna.

Náhodné čítanie 4K

Pri nízkej hĺbke frontu reaguje Halo dramaticky rýchlejšie (0.04 ms pri 1/1 oproti 0.215 ms u Sparka) a má výhodu v latencii počas väčšiny nízkeho až stredného rozsahu rozptylu. Spark však rozhodne prevyšuje priepustnosť vo veľkom meradle: jeho maximálny IOPS dosahuje 1 750,7 K (6 838,8 MB/s) pri 32/16, čo je výrazne viac ako maximálny Halo 1 050,4 K IOPS (4 103,2 MB/s) pri 32/8.

Je zaujímavé, že obraz latencie sa invertuje pri vysokej hĺbke frontu. Krivka latencie Sparku zostáva relatívne obmedzená, aj keď hĺbka a počet vlákien stúpajú, pričom vrchol dosahuje iba 0.292 ms. Halo naopak prudko stúpa pri 16/16 (0.513 ms) a opäť pri 32/16 (1.009 ms), čím viac ako 3-krát prekračuje svoju ustálenú základnú hodnotu, čo znamená, že jeho vynikajúca odozva pri nízkej hĺbke frontu sa neprenáša do úplnej saturácie.

4K náhodný zápis

Toto je najväčší rozdiel v IOPS v priebehu testovania. Výkon Sparku pri náhodnom zápise s rýchlosťou 4K prudko stúpa so zvyšujúcou sa hĺbkou frontu a počtom vlákien a dosahuje 490.4K IOPS (1 915,6 MB/s) pri 8/16. Halo medzitým dosahuje plató oveľa skôr a na oveľa nižšej úrovni, pričom dosahuje vrchol 125.6K IOPS (490.7 MB/s) pri 4/4 a po zvyšok testovania nikdy neprekročí približne 110 – 115K IOPS. Spark tu beží na takmer 4-násobku stropu Halo.

Latencia opäť začína v prospech Halo pri nízkej hĺbke frontu (0.079 ms oproti 0.235 ms pri 1/1). Do 32/16 sa priemerná latencia Halo vyšplhala na 4.546 ms, zatiaľ čo latencia Sparka zostáva relatívne kontrolovaná na úrovni 1.792 ms. V kombinácii s rozdielom v IOPS je to test, kde je výhoda Sparka najvýraznejšia a najkonzistentnejšia v celom rozsahu hĺbky/vlákna.

Online poskytovanie vLLM – výkon inferencie LLM

vLLM je jeden z najpopulárnejších vysokokapacitných inferenčných a obslužných nástrojov pre LLM. Online benchmark vLLM hodnotí reálny výkon obsluhy tohto inferenčného nástroja pri súbežných požiadavkách. Simuluje produkčné pracovné zaťaženie odosielaním požiadaviek na bežiaci server vLLM s konfigurovateľnými parametrami, ako je rýchlosť požiadaviek, dĺžka vstupných a výstupných požiadaviek a počet súbežných klientov. Benchmark meria kľúčové metriky vrátane priepustnosti (tokeny za sekundu), času do prvého tokenu a času na výstupný token (TPOT), čo pomáha používateľom pochopiť, ako vLLM funguje pri rôznych podmienkach zaťaženia.

Testovali sme výkon inferencie v rámci komplexnej sady modelov zahŕňajúcich rôzne architektúry, škály parametrov a stratégie kvantizácie, aby sme vyhodnotili priepustnosť v rôznych profiloch súbežnosti.

GPT OSS 120B

Rovnaké ISL/OSL (256/256): Halo sa pri veľkosti dávky 64 škálovalo na 222 tok/s, zatiaľ čo Spark dosiahol 701 (približne 3.2x zaostávanie).

Prefill Heavy (8k/1k): Priepustnosť Halo dosiahla vrchol v dávke 32 (427 tok/s), potom klesla na 314 v dávke 64, zatiaľ čo Spark prudko vzrástol na 2 760 (približne 8.8x) – najväčšia medzera v sade.

Dekódovanie Heavy (1k/8k): Halo dosiahlo 127 tok/s v porovnaní so Spark 305 pri veľkosti dávky 64 (približne 2.4x).

GPT OSS 20B

Rovnaké ISL/OSL (256/256): Iskra viedla v každej dávke, škálovanie na 1 917 oproti 617 tok/s v dávke 64 (Iskra bola približne 3.1x vpredu).

Prefill Heavy (8k/1k): Spark má najsilnejší náskok, ktorý sa pri veľkosti dávky 64 vyšplhal na 3 672 oproti 881 tok/s (Spark má náskok približne 4.2x.

Decode Heavy (1k/8k): Spark je počas celého cyklu vpredu, dosahuje 728 oproti 330 tok/s v dávke 64 (Spark má asi 2.2x náskok).

Inštrukcia Qwen3 Coder 30B A3B

Equal ISL/OSL (256/256): Halo sa pri veľkosti dávky 64 škálovalo na 376 taktov/s, čo je zhruba polovica oproti Spark 729 (približne 1.9x) – jeden z tesnejších výsledkov Equal ISL/OSL.

Prefill Heavy (8k/1k): Halo dosiahlo vrchol v dávke 32 (408 tok/s), potom kleslo na 362 v dávke 64, čím zaostávalo za Sparkovými 1 663 (približne 4.6x).

Dekódovanie Heavy (1k/8k): Halo dosiahlo 188 tok/s v porovnaní so Sparkovým 357 pri veľkosti dávky 64 (približne 1.9x).

Mistral Small 3.1 24B Inštrukt

Rovnaké ISL/OSL (256/256): Halo v 1. dávke skutočne viedlo (9 vs 8 tok/s), potom sa v 64. dávke ustálilo na 202 tok/s, zatiaľ čo Spark bol na 498 (asi 2.5-násobne zaostával).

Prefill Heavy (8k/1k): Halo dosiahlo vrchol v dávke 32 (188 tok/s) a mierne kleslo na 164 v dávke 64, čím zaostávalo za 540 Sparku (približne 3.3x).

Decode Heavy (1k/8k): Halo dosiahol takmer vyrovnanú rýchlosť počas celého testu, 119 tok/s oproti 132 tok/s u Sparka v 64. dávke (rozdiel je približne o 11 %).

Lama 3.1 8B Inštrukt

Rovnaké ISL/OSL (256/256): Halo sa plynulo škálovalo z 25 tok/s v dávke 1 na 407 tok/s v dávke 64, pričom tesne sledovalo Spark počas dávky 4, po ktorej sa Spark dostal dopredu na 1 330 (Halo zaostávalo na vrchole približne 3.3-násobne).

Predfill Heavy (8k/1k): Halo dosiahlo 546 tok/s pri veľkosti dávky 64, čo predstavuje zhruba polovicu zo Sparkových 1 059.

Decode Heavy (1k/8k): Najkonkurenčnejší scenár Halo, dosahujúci 235 tok/s oproti 263 u Sparka pri veľkosti dávky 64 (rozdiel je približne 12 %).

Lama 3.1 8B Inštruktáž FP4

Rovnaký ISL/OSL (256/256): Halo dosiahlo vrchol 267 tak/s pri veľkosti dávky 64, čo je ďaleko za Sparkom s 3 573 – FP4 vykazuje najväčší rozdiel (približne 13.4x).

Predfill Heavy (8k/1k): Halo dosiahol 457 tok/s pri veľkosti dávky 64 v porovnaní so Sparkom, ktorý dosiahol 2 713 (približne 5.9x).

Dekódovanie Heavy (1k/8k): Halo sa škálovalo na 146 tok/s v porovnaní s 588 tok/s u Sparka pri veľkosti dávky 64 (približne 4x).

Záver

AMD Ryzen AI Halo vstupuje do kategórie, ktorú NVIDIA efektívne vytvorila s DGX Spark, a nesnaží sa poraziť Spark v jeho vlastnej hre. V našich testoch vLLM mal Spark 2x až 4x výhodu v priepustnosti vo väčšine scenárov pri vyššej súbežnosti, pričom sa zvýšil na 8.8x v práci s GPT OSS 120B s vysokým predfillom a zúžil sa na zhruba 10 % iba v dvoch behoch s vysokým dekódovaním, a jeho úložný subsystém vyhral takmer každý fio test pri saturácii. Namiesto toho Halo ponúka rovnakých 128 GB unifikovanej pamäte a strop 200 miliárd parametrov pri podobnej rozlohe, za 3 999 dolárov oproti 4 699 dolárom za Spark Founders Edition (hoci niektorí výrobcovia OEM ich majú pod 4 000 dolárov), v plnohodnotnom x86 počítači, ktorý bootuje Windows 11 alebo Linux namiesto samotného operačného systému DGX.

Pohľad zhora na základnú dosku AMD Ryzen AI Halo.

Ak odhliadneme od Sparku, Halo je najsilnejšou implementáciou Ryzen AI Max+ 395, akú sme kedy testovali. V porovnaní s HP Z2 Mini G1a a ZBook Ultra G1a dosiahol najvyššie skóre v takmer každej testovacej úlohe s Windowsom, ktorú sme spustili: 37 316 v Cinebench R23 multi-core, 184.2 GIPS v 7-Zip oproti 151.6 a 156.8 pre HP, najvyššie skóre generovania textu a obrázkov s AI v Procyone a najrýchlejšie časy y-cruncher s 5 a 10 miliardami číslic. V Linuxe, proti Sparku, úplne vyhral testy Phoronix viazané na CPU, komprimoval o 11 % rýchlejšie v 7-Zip a dokončil kompiláciu LLVM o 14 % skôr. Ide o kompaktnú pracovnú stanicu, ktorá je po prvýkrát vybavená rolou vývojára AI, namiesto toho, aby ju nahradila.

Vývojári, ktorí potrebujú maximálny počet lokálnych tokenov za sekundu alebo plánujú zoskupovať uzly cez vysokorýchlostnú sieťovú technológiu, by si mali kúpiť Spark; limity 10GbE a vLLM pre Halo nie sú ani zďaleka rovnaké. Pre vývojárov, ktorí stavajú na ROCm, tímy, ktoré potrebujú systém Windows v slučke, alebo pre kohokoľvek, kto chce jeden počítač na pokrytie profesionálnych pracovných záťaží a práce s lokálnymi modelmi, je Halo vhodnejšou voľbou a štandardná šachta M.2 2280 a predladená variabilná grafická pamäť odstraňujú dve z najčastejších sťažností, ktoré majitelia Sparku vyjadrili. Spoločnosť AMD tiež uviedla, že platforma v treťom štvrťroku prevezme kremík Ryzen AI Max PRO radu 400 s až 192 GB unifikovanej pamäte, takže kupujúci, ktorí sa usilujú o väčšie modely, majú jasnú cestu vpred bez toho, aby museli meniť platformy.

Stránka produktu – AMD Ryzen AI Halo

Rebríček: AMD Ryzen AI Halo drží miesto v kategórii Najlepšia alternatíva x86 v našom rebríčku Najlepšie stolové počítače pre lokálnu AI.

Zapojte sa do StorageReview

Newsletter | YouTube | Podcast iTunes / Spotify | Instagram | Twitter | TikTok | RSS kanál

Brian Beeler

Brian sídli v Cincinnati v štáte Ohio a je hlavným analytikom a prezidentom spoločnosti StorageReview.com.