Představte si, že by vaše cvičební aplikace zaznamenávala pouze jednoduchý režim, který se nikdy nemění ani nevyžaduje žádnou úpravu úrovně vaší námahy. 2D graf vašeho tréninku by vypadal jako rovná čára na monitoru srdeční činnosti, což by poskytlo jen málo informací o vašem celkovém výkonu. Bohužel takhle vypadá graf syntetického benchmarku pro výkon úložiště pracovní stanice. Tyto typy benchmarků jsou navrženy tak, aby z úložného zařízení extrahovaly maximální hodnoty pomocí specifikací přístupu, které jsou silně optimalizovány napříč firmwarem, ovladači a hardwarem.
Klasickým případem je měření náhodných I/O operací při velikosti bloků 4K s velmi vysokou hloubkou fronty. V tomto scénáři mají dodavatelé dostatek příležitostí k optimalizaci fronty úložiště a maximalizaci skóre IOPS (vstupně/výstupních operací za sekundu) pro dané zařízení. Naproti tomu reálné aplikace pracovních stanic mají průměrný rozsah I/O operací jeden nebo dva. S takto nízkou hloubkou fronty nemá přeskupování a další optimalizace tak dramatický vliv na výkon; úzké hrdlo se přesouvá na hrubé hardwarové možnosti, a to i u RAID nebo agresivních hybridních/vrstvených architektur mezipaměti.
Graf znázorňující čtení a zápisy z úložiště pro syntetický benchmark. Osa X představuje posun od počátečního umístění, kde dochází k IO. Osa Y představuje velikost bloku transakce provedené v tomto umístění. Například blok o velikosti 128 kB by se pokusil přečíst 128 kB dat z disku v nějakém posunutém umístění, a to vše v jednom požadavku.
Nepředvídatelné cesty úložiště
Skutečné aplikace pracovních stanic nesledují předvídatelné cesty pro optimální přístup k úložišti. Například ve světě nelineárního střihu videa velikost bloku spíše odpovídá formátu kontejneru nebo metodě kódování než optimální velikosti bloku pro přenos velmi velkých souborů.
Pro aplikaci by bylo výrazně rychlejší používat pro všechny velké soubory načítané do paměti bloky o velikosti 128 kB a poté tato data procházet v menší velikosti. Skutečnost, že aplikace diktuje jiné, méně optimální metody přístupu k úložišti, však činí jakékoli syntetické měření méně reprezentativním pro to, jak je zpracovávána skutečná práce.
Střih videa je jen jedním příkladem. Téměř všechny aplikace, a to i ty ve stejném odvětví, používají různé metody čtení/zápisu, takže měření špičkového výkonu je do značné míry irelevantní. Jediný způsob, jak přesně měřit úložiště, je napodobit operace tak, jak probíhají ve skutečných aplikacích.
Zlepšení metodiky
Pro svůj benchmark SPECwpc 2.1, vydaný začátkem roku 2016, použila podvýbor SPEC Workstation Performance Characterization (SPECwpc) IOMeter – nástroj pro měření a charakterizaci subsystému IO – k simulaci aktivity IO pro různé profesionální aplikace. Z těchto aplikací byly shromážděny údaje o velikosti a frekvenci úložných transakcí a IOMeter použil data ke generování řetězce úložných transakcí za zadané časové období.
I když tato technika byla lepší než měření maximální šířky pásma a latence pracovní stanice, stále se příliš neblížila tomu, co aplikace skutečně dělají. V další verzi chtěl SPECwpc lépe napodobit chování aplikací a zároveň zohlednit dopad nových polovodičových zařízení, technologií jako NAND a 3D Xpoint a různých možností připojení PCIe.
Při vývoji benchmarku SPECworkstation 3, který byl vydán v listopadu 2018, použil SPECwpc nástroj Windows Process Monitor ke sledování transakcí úložiště z široké škály profesionálních aplikací zapojených do reálné práce. SPECwpc poté napsal nástroj pro přehrávání, který převádí trasování do proudů transakcí úložiště, které jsou téměř identické s proudy ze skutečných aplikací.
Čtení/zápis pro aplikaci SPECworkstation 3 Handbrake
Místo použití skutečných dat z aplikací, která by měla velikost stovek gigabajtů, SPECwpc naplnil požadavky na úložiště náhodně vybranými daty. Nástroj pro přehrávání pak používá více vláken k zápisu do více souborů, stejně jako skutečná aplikace.
Benchmark SPECworkstation 3 zahrnuje záznamy z široké škály aplikací, včetně médií a zábavy (3D animace, renderování), vývoje produktů (CAD/CAM/CAE), biologických věd (medicínských, molekulárních), finančních služeb, energetiky (ropa a plyn), obecných operací a výpočtů na GPU.
Mezi aplikace sledované pro úložnou úlohu SPECworkstation 3 patří 7zip, Adobe Media Encoder, Adobe Premier Pro, Ansys Icepak, Ansys Mechanical, Autodesk 3ds Max, Autodesk Maya, Autodesk Revit, Blender, CalculiX, Dassault Systémes Solidworks, Handbrake, Lammps, Microsoft Visual Studio 2015, Namd, energetický náhledový soubor SPECviewperf 13 a úloha SPECworkstation 3 WPCcfd.
Čtení/zápis pro aplikaci Calculix (CCX) v benchmarku SPECworkstation 3
Pohled do budoucnosti
Metoda přehrávání použitá ve SPECworkstation 3 vytváří vlákna způsobem poměrně blízkým skutečné aplikaci, ale stále má jeden zásadní problém: Chronologie I/O a případná synchronizace mezi vlákny není přesně zachována. To vede k případům, kdy některá vlákna dokončují určité I/O rychleji a souběžnost I/O mezi různými vlákny není dokonale synchronizována, což má za následek občasné odchylky mezi jednotlivými běhy.
Pro SPECworkstation 4, jehož vydání je plánováno na rok 2020, bude SPECwpc pracovat na zachování chronologie I/O tak, aby se zabránilo jejich shlukování při dosažení sběrnice do úložného zařízení.
Výzva k účasti
I když není dokonalé, sledování operací ukládání dat z reálných aplikací zpracovávajících příkazy, jako jsou ty generované uživateli pracovních stanic v různých odvětvích, je významným krokem vpřed.
Podvýbor SPECwpc – jehož součástí jsou zástupci společností AMD, Dell, Fujitsu, HP, Intel, Lenovo a Nvidia – vítá podněty k budoucím pracovním zátěžím od dodavatelů zařízení, vývojářů aplikací a uživatelů, kteří mají zájem na výkonu úložišť.
Stejně jako u jiných benchmarků SPEC pomůže poskytování co nejpřesnějších způsobů zaznamenávání a reportování výkonu úložišť pracovních stanic v reálném světě nastavit cestu pro vývojáře ke zlepšení jejich procesů v budoucnu.
– Alex ukazuje
Alex Shows je předsedou podvýboru SPEC Workstation Performance Characterization (SPECwpc) a významným inženýrem ve společnosti Dell. Jeho 23 let zkušeností v oboru zahrnuje 19 let návrhu, vývoje a dokumentace softwaru; 17 let ověřování návrhu hardwaru a ovladačů; a 10 let aplikovaného výzkumu v oblasti hardwarových a softwarových technologií. Je držitelem 12 patentů, z nichž šest je v řízení.
Chcete-li se dozvědět více o benchmarkingu grafiky a pracovních stanic, navštivte webové stránky SPEC/GWPG , přihlaste se k odběru elektronického zpravodaje SPEC/GWPG nebo se připojte ke skupině LinkedIn věnované benchmarkingu grafiky a pracovních stanic.
Benchmarky SPEC/GWPG jsou k dispozici ke stažení zdarma pro všechny kromě prodejců počítačů a souvisejících produktů a služeb, kteří nejsou členy skupiny SPEC Graphics and Workstation Performance Group ( SPEC/GWPG ).
Amazon