Дон Кэппс, председатель подкомитета SPEC Storage.
Компания Standard Performance Evaluation Corp. (SPEC) выпустила новую, значимую версию своего теста производительности решений для хранения данных, призванного помочь ИТ-менеджерам принимать более обоснованные решения о закупке, настройке и оптимизации.
Новый бенчмарк SPECstorage Solution 2020 основан на реальных приложениях и сценариях эксплуатации. Он включает в себя новые рабочие нагрузки для искусственного интеллекта (ИИ) и геномики, расширенные возможности настройки пользовательских рабочих нагрузок, значительно улучшенное масштабирование и механизм статистической визуализации для отображения результатов бенчмарка. Кроме того, внесены десятки улучшений, которые делают бенчмарк проще в использовании и эффективнее в получении результатов.
Реальные рабочие нагрузки
В бенчмарке SPECstorage Solution 2020 представлены рабочие нагрузки, используемые в пяти различных отраслях. Для каждой рабочей нагрузки существует набор критериев «пройдено/не пройдено», которые должны быть выполнены для подтверждения результатов бенчмарка. Примеры критериев включают:
- Проверялось, поддерживало ли тестируемое решение для хранения данных требуемый средний уровень производительности (op_rate).
- Поддерживало ли решение среднюю задержку ниже заданного порогового значения.
- Было ли предложенное решение обеспечить сбалансированное распределение операций между подкомпонентами рабочей нагрузки?
- Поддерживалось ли в решении максимальное время задержки ниже определенного порогового значения для любого подкомпонента рабочей нагрузки.
Новая рабочая нагрузка ИИ представляет собой среду обработки изображений ИИ TensorFlow, с трассировками, собранными с систем, работающих с наборами данных COCO, Resnet50 и CityScape. Метрики основаны на количестве одновременно выполняемых заданий — определяемых как набор подкомпонентов, составляющих один полный рабочий процесс, — которые могут быть выполнены в соответствии с заданными критериями «пройдено/не пройдено».
Новая рабочая нагрузка в области геномики формируется на основе данных об операциях ввода-вывода, используемых коммерческими и исследовательскими учреждениями для проведения генетического анализа. Данные были очищены от исходных геномных данных. Метрики основаны на количестве одновременно выполняемых заданий, которые могут поддерживаться в соответствии с критериями «пройдено/не пройдено» для данной рабочей нагрузки.
Три рабочие нагрузки перенесены из бенчмарка SPEC SFS 2014 SP2, выпущенного в декабре 2017 года:
- Затраты на автоматизированное проектирование электронных схем (EDA) отражают типичное поведение различных приложений EDA, включая обработку на этапах проектирования и разработки. Метрики основаны на количестве заданий, которые могут быть выполнены в рамках заданного набора критериев «пройдено/не пройдено».
- Рабочая нагрузка среды сборки программного обеспечения включает в себя тесты, интенсивно использующие метаданные, полученные в результате анализа и трассировки системы реальных приложений. Метрики основаны на количестве одновременно выполняемых сборок, которые могут быть завершены в соответствии с критериями «пройдено/не пройдено».
- Рабочая нагрузка по сбору видеоданных (VDA) имитирует приложения, которые хранят данные, полученные из источника, чувствительного ко времени, например, с камеры видеонаблюдения. Метрики основаны на количестве видеопотоков, которые могут быть захвачены в соответствии с критериями «пройдено/не пройдено».
Индивидуально настроенные рабочие нагрузки
Новый бенчмарк позволяет пользователям настраивать существующие рабочие нагрузки или создавать новые, чтобы получить представление о проблемах с производительностью хранилища.
Настраиваемые рабочие нагрузки могут использовать комбинацию генераторов нагрузки Unix и Windows для приложений, которые применяют эту комбинацию в своих рабочих процессах. Примером такой комбинации может служить система Windows, которая собирает данные с датчиков и хранит их с помощью SMB, в то время как вычислительная ферма на базе Unix анализирует данные с помощью NFS, Lustre, GPFS или другой файловой системы.
В тестовой версии SPECstorage Solution 2020 реализован сложный механизм синхронизации, который обеспечивает синхронизацию всех географически распределенных процессов генерации нагрузки с точностью до долей миллисекунды.
Масштабирование в больших масштабах с меньшим количеством ограничений
Новые внутренние механизмы межпроцессного взаимодействия (IPC) в SPECstorage Solution 2020 значительно сокращают количество TCP-портов и запросов DNS, повышая масштабируемость, надежность, а также производительность при запуске и выполнении. Масштабируемость увеличена с 60 000 процессов, генерирующих нагрузку в предыдущих версиях, до более чем 4 миллионов процессов, которые могут быть распределены по всему миру.
Сложный механизм синхронизации обеспечивает синхронизацию всех географически распределенных процессов генерации нагрузки с точностью до долей миллисекунды.
Новая эффективность масштабирования особенно важна для тестирования облачных решений для хранения данных. Это важное достижение, поскольку у облачных провайдеров TCP-порты являются дефицитным ресурсом, и большинство виртуальных машин в лучшем случае могут вместить лишь несколько тысяч. Новый бенчмарк никогда не требует более 1,000 TCP-портов. Это позволяет пользователям масштабировать систему до 4 миллионов процессов без возникновения ограничений со стороны облачных сервисов.

Визуализация для получения более глубокого понимания.
Новый механизм статистической визуализации в SPECstorage Solution 2020 позволяет пользователям извлекать счетчики времени выполнения и подключать их к базам данных, таким как Graphite, Carbon или Grafana, для визуализации. Это обеспечивает более глубокое понимание поведения и особенностей работы тестируемой системы.
Доступно для скачивания прямо сейчас
Тест SPECstorage Solution 2020 доступен для немедленной загрузки на веб-сайте SPEC по цене 2,000 долларов США, при этом для квалифицированных исследовательских и академических учреждений предусмотрены скидки. Результаты нового теста не сопоставимы с результатами предыдущих тестов SPEC в области хранения данных.
В разработке бенчмарка принимали участие корпоративные члены SPEC, в том числе Dell, IBM, Intel, iX Systems, NetApp, Pure Storage и WekaIO. В число независимых разработчиков также внесли свой вклад Удайан Бапат, Сорин Файбиш и Брайан Павловски.
###
Дон Каппс обладает более чем 30-летним опытом работы в области проектирования производительности систем хранения данных. Он является инженером по производительности в компании Netapp; основателем Iozone.org, некоммерческой организации, которая разрабатывает и распространяет бесплатное программное обеспечение для измерения производительности компьютерных систем хранения данных; и председателем подкомитета по хранению данных в рамках Standard Performance Evaluation Corp. (SPEC).




Amazon