Представьте, что ваше приложение для тренировок записывает только выполнение простой программы упражнений, которая никогда не меняется и не требует корректировки уровня усилий. Двумерный график вашей тренировки будет выглядеть как прямая линия на пульсометре, практически ничего не говоря о вашей общей производительности. К сожалению, именно так выглядит график синтетического теста производительности хранилища данных на рабочих станциях. Такие тесты предназначены для извлечения пиковых значений из устройства хранения данных с использованием спецификаций доступа, которые тщательно оптимизированы на уровне прошивки, драйверов и оборудования.
Классический пример — измерение случайных операций ввода-вывода с размером блока 4K и очень большой глубиной очереди. В этом сценарии у производителей есть ample возможности оптимизировать очередь хранения и максимизировать показатель IOPS (операций ввода-вывода в секунду) для устройства. В отличие от этого, в реальных приложениях для рабочих станций средний диапазон операций ввода-вывода составляет один или два. При такой низкой глубине очереди переупорядочивание и другие оптимизации не оказывают столь существенного влияния на производительность; узкое место смещается к возможностям самого оборудования, даже при использовании RAID или агрессивных гибридных/многоуровневых архитектур кэширования.
График, отображающий операции чтения и записи данных в хранилище для синтетического теста производительности. Ось X — это смещение от начальной точки, где происходит операция ввода-вывода. Ось Y — это размер блока транзакции, выполняемой в этой точке. Например, блок размером 128 КБ будет означать попытку чтения 128 КБ данных с диска в некоторой точке со смещением за один запрос.
Непредсказуемые пути хранения
В реальных приложениях для рабочих станций не используются предсказуемые алгоритмы для оптимального доступа к хранилищу. Например, в мире нелинейного видеомонтажа размер блока больше соответствует формату контейнера или методу кодирования, чем оптимальному размеру блока для передачи очень больших файлов.
Для приложения было бы значительно быстрее использовать блоки размером 128 КБ для всех больших файлов, считываемых в память, а затем обрабатывать эти данные с помощью блоков меньшего размера. Однако тот факт, что приложение диктует другие, менее оптимальные методы доступа к хранилищу, делает любые синтетические измерения менее репрезентативными для того, как обрабатывается реальная работа.
Видеомонтаж — лишь один из примеров. Практически все приложения, даже в одной отрасли, используют разные методы чтения/записи, что делает измерение пиковых состояний производительности в значительной степени неактуальным. Единственный способ точно измерить производительность хранилища — это имитировать операции, которые происходят в реальных приложениях.
Улучшение методологии
Для своего бенчмарка SPECwpc 2.1, выпущенного в начале 2016 года, подкомитет SPEC Workstation Performance Characterization (SPECwpc) использовал IOMeter — инструмент для измерения и характеризации подсистемы ввода-вывода — для моделирования активности ввода-вывода в различных профессиональных приложениях. Размер и частота транзакций хранения данных были собраны из этих приложений, и IOMeter использовал эти данные для генерации последовательности транзакций хранения данных за заданный промежуток времени.
Хотя этот метод был лучше, чем измерение максимальной пропускной способности и задержки рабочей станции, он все еще не очень точно отражал реальное поведение приложений. В своей следующей версии SPECwpc стремился лучше имитировать поведение приложений, а также учитывать влияние новых твердотельных накопителей, таких технологий, как NAND и 3D Xpoint, и различных вариантов подключения PCIe.
При разработке бенчмарка SPECworkstation 3, выпущенного в ноябре 2018 года, компания SPECwpc использовала монитор процессов Windows для отслеживания транзакций хранения данных из широкого спектра профессиональных приложений, используемых в реальной работе. Затем SPECwpc разработала утилиту воспроизведения, которая преобразует трассировки в потоки транзакций хранения данных, практически идентичные тем, что происходят в реальных приложениях.
Чтение/запись для приложения Handbrake в SPECworkstation 3.
Вместо использования фактических данных из приложений, размер которых составил бы сотни гигабайт, SPECwpc заполнил запросы на хранение данными, выбранными случайным образом. Затем утилита воспроизведения использует несколько потоков для записи в несколько файлов, как и само приложение.
Тест SPECworkstation 3 включает в себя трассировки из самых разных приложений, в том числе из сферы медиа и развлечений (3D-анимация, рендеринг), разработки продуктов (CAD/CAM/CAE), биологических наук (медицинских, молекулярных), финансовых услуг, энергетики (нефтегазовая отрасль), общей операционной деятельности и вычислений на графических процессорах.
В число приложений, отслеживаемых для рабочей нагрузки хранения данных SPECworkstation 3, входят 7zip, Adobe Media Encoder, Adobe Premier Pro, Ansys Icepak, Ansys Mechanical, Autodesk 3ds Max, Autodesk Maya, Autodesk Revit, Blender, CalculiX, Dassault Systémes Solidworks, Handbrake, Lammps, Microsoft Visual Studio 2015, Namd, набор данных SPECviewperf 13 для анализа энергопотребления и рабочая нагрузка SPECworkstation 3 WPCcfd.
Чтение/запись для приложения Calculix (CCX) в бенчмарке SPECworkstation 3.
Взгляд в будущее
Метод воспроизведения, используемый в SPECworkstation 3, создает потоки способом, достаточно близким к реальному приложению, но у него все же есть ключевая проблема: хронология операций ввода-вывода и любая синхронизация между потоками не сохраняются точно. Это приводит к ситуациям, когда некоторые потоки выполняют определенные операции ввода-вывода быстрее, а параллельная обработка операций ввода-вывода различными потоками не идеально синхронизирована, что приводит к периодическим колебаниям результатов от запуска к запуску.
В SPECworkstation 4, выпуск которой запланирован на 2020 год, SPECwpc будет работать над сохранением хронологии операций ввода-вывода таким образом, чтобы предотвратить их объединение при достижении шины устройства хранения данных.
Призыв к участию
Хотя это и не идеальное решение, отслеживание операций хранения данных из реальных приложений, обрабатывающих команды, подобные тем, которые генерируются пользователями рабочих станций в различных отраслях, является значительным шагом вперед.
Подкомитет SPECwpc, в состав которого входят представители AMD, Dell, Fujitsu, HP, Intel, Lenovo и Nvidia, приветствует предложения по будущим рабочим нагрузкам от производителей устройств, разработчиков приложений и пользователей, заинтересованных в производительности хранилищ.
Как и в случае с другими бенчмарками SPEC, предоставление наиболее точного способа сбора и представления данных о реальной производительности хранилищ рабочих станций поможет разработчикам в будущем улучшить свои процессы.
– Алекс Шоус
Алекс Шоус — председатель подкомитета SPEC по характеристике производительности рабочих станций (SPECwpc) и выдающийся инженер компании Dell. Его 23-летний опыт работы в отрасли включает 19 лет проектирования, разработки и документирования программного обеспечения; 17 лет проверки аппаратного обеспечения и драйверов; и 10 лет прикладных исследований в области аппаратных и программных технологий. Он является обладателем 12 патентов, еще шесть находятся на рассмотрении.
Чтобы узнать больше о тестировании производительности графических процессоров и рабочих станций, посетите веб-сайт SPEC/GWPG , подпишитесь на электронную рассылку SPEC/GWPG или присоединитесь к группе Graphics and Workstation Benchmarking в LinkedIn.
Тесты SPEC/GWPG доступны для бесплатной загрузки всем, за исключением производителей компьютеров и сопутствующих товаров и услуг, не являющихся членами группы SPEC Graphics and Workstation Performance Group ( SPEC/GWPG ).







Amazon