StorageReview.com

Внутри нового бенчмарка решений для хранения данных SPEC

Предприятие  ◇  Корпоративное хранилище

Дон Кэппс, председатель подкомитета SPEC Storage.

Компания Standard Performance Evaluation Corp. (SPEC) выпустила новую, значимую версию своего теста производительности решений для хранения данных, призванного помочь ИТ-менеджерам принимать более обоснованные решения о закупке, настройке и оптимизации.

Новый бенчмарк SPECstorage Solution 2020 основан на реальных приложениях и сценариях эксплуатации. Он включает в себя новые рабочие нагрузки для искусственного интеллекта (ИИ) и геномики, расширенные возможности настройки пользовательских рабочих нагрузок, значительно улучшенное масштабирование и механизм статистической визуализации для отображения результатов бенчмарка. Кроме того, внесены десятки улучшений, которые делают бенчмарк проще в использовании и эффективнее в получении результатов.

Реальные рабочие нагрузки

В бенчмарке SPECstorage Solution 2020 представлены рабочие нагрузки, используемые в пяти различных отраслях. Для каждой рабочей нагрузки существует набор критериев «пройдено/не пройдено», которые должны быть выполнены для подтверждения результатов бенчмарка. Примеры критериев включают:

  • Проверялось, поддерживало ли тестируемое решение для хранения данных требуемый средний уровень производительности (op_rate).
  • Поддерживало ли решение среднюю задержку ниже заданного порогового значения.
  • Было ли предложенное решение обеспечить сбалансированное распределение операций между подкомпонентами рабочей нагрузки?
  • Поддерживалось ли в решении максимальное время задержки ниже определенного порогового значения для любого подкомпонента рабочей нагрузки.

Новая рабочая нагрузка ИИ представляет собой среду обработки изображений ИИ TensorFlow, с трассировками, собранными с систем, работающих с наборами данных COCO, Resnet50 и CityScape. Метрики основаны на количестве одновременно выполняемых заданий — определяемых как набор подкомпонентов, составляющих один полный рабочий процесс, — которые могут быть выполнены в соответствии с заданными критериями «пройдено/не пройдено».

Новая рабочая нагрузка в области геномики формируется на основе данных об операциях ввода-вывода, используемых коммерческими и исследовательскими учреждениями для проведения генетического анализа. Данные были очищены от исходных геномных данных. Метрики основаны на количестве одновременно выполняемых заданий, которые могут поддерживаться в соответствии с критериями «пройдено/не пройдено» для данной рабочей нагрузки.

Три рабочие нагрузки перенесены из бенчмарка SPEC SFS 2014 SP2, выпущенного в декабре 2017 года:

  • Затраты на автоматизированное проектирование электронных схем (EDA) отражают типичное поведение различных приложений EDA, включая обработку на этапах проектирования и разработки. Метрики основаны на количестве заданий, которые могут быть выполнены в рамках заданного набора критериев «пройдено/не пройдено».
  • Рабочая нагрузка среды сборки программного обеспечения включает в себя тесты, интенсивно использующие метаданные, полученные в результате анализа и трассировки системы реальных приложений. Метрики основаны на количестве одновременно выполняемых сборок, которые могут быть завершены в соответствии с критериями «пройдено/не пройдено».
  • Рабочая нагрузка по сбору видеоданных (VDA) имитирует приложения, которые хранят данные, полученные из источника, чувствительного ко времени, например, с камеры видеонаблюдения. Метрики основаны на количестве видеопотоков, которые могут быть захвачены в соответствии с критериями «пройдено/не пройдено».

Индивидуально настроенные рабочие нагрузки

Новый бенчмарк позволяет пользователям настраивать существующие рабочие нагрузки или создавать новые, чтобы получить представление о проблемах с производительностью хранилища.

Настраиваемые рабочие нагрузки могут использовать комбинацию генераторов нагрузки Unix и Windows для приложений, которые применяют эту комбинацию в своих рабочих процессах. Примером такой комбинации может служить система Windows, которая собирает данные с датчиков и хранит их с помощью SMB, в то время как вычислительная ферма на базе Unix анализирует данные с помощью NFS, Lustre, GPFS или другой файловой системы.

SPEC — тест производительности хранилища

В тестовой версии SPECstorage Solution 2020 реализован сложный механизм синхронизации, который обеспечивает синхронизацию всех географически распределенных процессов генерации нагрузки с точностью до долей миллисекунды.

Масштабирование в больших масштабах с меньшим количеством ограничений

Новые внутренние механизмы межпроцессного взаимодействия (IPC) в SPECstorage Solution 2020 значительно сокращают количество TCP-портов и запросов DNS, повышая масштабируемость, надежность, а также производительность при запуске и выполнении. Масштабируемость увеличена с 60 000 процессов, генерирующих нагрузку в предыдущих версиях, до более чем 4 миллионов процессов, которые могут быть распределены по всему миру.

Сложный механизм синхронизации обеспечивает синхронизацию всех географически распределенных процессов генерации нагрузки с точностью до долей миллисекунды.

Новая эффективность масштабирования особенно важна для тестирования облачных решений для хранения данных. Это важное достижение, поскольку у облачных провайдеров TCP-порты являются дефицитным ресурсом, и большинство виртуальных машин в лучшем случае могут вместить лишь несколько тысяч. Новый бенчмарк никогда не требует более 1,000 TCP-портов. Это позволяет пользователям масштабировать систему до 4 миллионов процессов без возникновения ограничений со стороны облачных сервисов.

Визуализация 2 теста производительности хранилища SPECНовый механизм статистической визуализации в SPECstorage Solution 2020 позволяет пользователям извлекать счетчики времени выполнения и подключать их к базе данных для визуализации.

Визуализация для получения более глубокого понимания.

Новый механизм статистической визуализации в SPECstorage Solution 2020 позволяет пользователям извлекать счетчики времени выполнения и подключать их к базам данных, таким как Graphite, Carbon или Grafana, для визуализации. Это обеспечивает более глубокое понимание поведения и особенностей работы тестируемой системы.

Доступно для скачивания прямо сейчас

Тест SPECstorage Solution 2020 доступен для немедленной загрузки на веб-сайте SPEC по цене 2,000 долларов США, при этом для квалифицированных исследовательских и академических учреждений предусмотрены скидки. Результаты нового теста не сопоставимы с результатами предыдущих тестов SPEC в области хранения данных.

В разработке бенчмарка принимали участие корпоративные члены SPEC, в том числе Dell, IBM, Intel, iX Systems, NetApp, Pure Storage и WekaIO. В число независимых разработчиков также внесли свой вклад Удайан Бапат, Сорин Файбиш и Брайан Павловски.

###

Дон Каппс обладает более чем 30-летним опытом работы в области проектирования производительности систем хранения данных. Он является инженером по производительности в компании Netapp; основателем Iozone.org, некоммерческой организации, которая разрабатывает и распространяет бесплатное программное обеспечение для измерения производительности компьютерных систем хранения данных; и председателем подкомитета по хранению данных в рамках Standard Performance Evaluation Corp. (SPEC).

Взаимодействуйте со StorageReview

Рассылка | YouTube | Подкаст | iTunes / Spotify | Instagram | Twitter | TikTok | RSS-лента

Гостевая книга