À l'intérieur de la nouvelle référence de solution de stockage SPEC

par Don Capps, président du sous-comité SPEC Storage

Standard Performance Evaluation Corp. (SPEC) a publié une nouvelle version majeure de son benchmark de solutions de stockage, conçu pour aider les responsables informatiques à prendre de meilleures décisions d'achat, de configuration et d'optimisation.

Le nouveau benchmark SPECstorage Solution 2020 est basé sur des applications réelles et des scénarios réels. Il comprend de nouvelles charges de travail pour l'intelligence artificielle (IA) et la génomique, des capacités de charge de travail personnalisées étendues, une mise à l'échelle massivement meilleure et un mécanisme de visualisation statistique pour afficher les résultats de référence. Il existe également des dizaines de mises à niveau qui rendent le benchmark plus facile à utiliser et plus efficace pour fournir des résultats.

Charges de travail réelles

Les charges de travail du benchmark SPECstorage Solution 2020 représentent des applications utilisées sur cinq marchés différents. Chaque charge de travail a un ensemble de critères de réussite/échec qui doivent être remplis afin de valider les résultats de référence. Voici des exemples de critères :

• Si la solution de stockage testée a maintenu le taux de fonctionnement moyen soutenu demandé.
• Si la solution a maintenu une latence moyenne en dessous d'un seuil donné.
• Si la solution maintenait un équilibre égal des opérations entre les sous-composants de la charge de travail.
• Si la solution a maintenu une latence maximale en dessous d'un seuil spécifique pour tout sous-composant de la charge de travail.

La nouvelle charge de travail d'IA représente des environnements de traitement d'images TensorFlow, avec des traces collectées sur des systèmes exécutant les jeux de données COCO, ResNet50 et CityScape. Les métriques sont basées sur le nombre de tâches simultanées (définies comme un ensemble de sous-composantes constituant un flux de travail complet) pouvant être maintenues selon les critères de réussite/échec définis.

La nouvelle charge de travail en génomique provient des traces d'opérations d'E/S utilisées par les installations commerciales et de recherche pour effectuer des analyses génétiques. Les données ont été désinfectées afin qu'elles ne contiennent aucune des données originales sur le génome. Les métriques sont basées sur le nombre de tâches simultanées pouvant être maintenues selon les critères de réussite/échec de la charge de travail.

Trois charges de travail sont reprises du benchmark SPEC SFS 2014 SP2, publié en décembre 2017 :

• La charge de travail d'automatisation de la conception électronique (EDA) représente le comportement typique d'un mélange d'applications EDA, y compris le traitement frontal et principal. Les métriques sont basées sur le nombre de travaux qui peuvent être terminés dans un ensemble défini de critères de réussite/échec.
• La charge de travail de l'environnement de construction logicielle comprend des tests gourmands en métadonnées dérivés de l'analyse et des traces système d'applications réelles. Les métriques sont basées sur le nombre de builds simultanés pouvant être réalisés selon les critères de réussite/échec.
• La charge de travail d'acquisition de données vidéo (VDA) simule des applications qui stockent des données acquises à partir d'une source sensible au facteur temps, telle qu'une caméra de surveillance. Les métriques sont basées sur le nombre de flux vidéo qui peuvent être capturés selon les critères de réussite/échec.

Charges de travail personnalisées

La nouvelle référence permet aux utilisateurs de personnaliser les charges de travail existantes ou d'en créer de nouvelles pour mieux comprendre les problèmes de performances de stockage.

Les charges de travail personnalisées peuvent accueillir une combinaison de générateurs de charge Unix et Windows pour les applications qui utilisent cette combinaison dans leurs flux de travail. Un exemple de cette combinaison serait un système Windows qui collecte des données de capteur et les stocke à l'aide de SMB tandis qu'une batterie de calcul basée sur Unix analyse les données à l'aide de NFS, Lustre, GPFS ou d'une autre technologie de système de fichiers.

Un mécanisme de synchronisation sophistiqué au sein du benchmark SPECstorage Solution 2020 maintient tous les processus de génération de charge répartis géographiquement synchronisés à une résolution inférieure à la milliseconde.

Mise à l'échelle massive avec moins de contraintes

Les nouveaux mécanismes IPC internes de SPECstorage Solution 2020 réduisent considérablement le nombre de ports TCP et de recherches DNS, améliorant ainsi l'évolutivité, la fiabilité et les performances de démarrage et d'exécution. La mise à l'échelle est passée de 60,000 4 processus générateurs de charge dans les versions précédentes à plus de XNUMX millions de processus pouvant être distribués dans le monde entier.

Un mécanisme de synchronisation sophistiqué synchronise tous les processus générateurs de charge répartis géographiquement à une résolution inférieure à la milliseconde.

La nouvelle efficacité de mise à l'échelle est particulièrement importante pour tester les solutions de stockage basées sur le cloud. Il s'agit d'une évolution importante, car chez les fournisseurs de cloud, les ports TCP sont une ressource rare, la plupart des machines virtuelles ne pouvant en accueillir que quelques milliers au mieux. La nouvelle référence ne nécessite jamais plus de 1,000 4 ports TCP. Cela permet aux utilisateurs d'évoluer jusqu'à XNUMX millions de processus sans se heurter aux contraintes du cloud.

Le nouveau mécanisme de visualisation statistique de SPECstorage Solution 2020 permet aux utilisateurs d'extraire des compteurs d'exécution et de les connecter à une base de données pour la visualisation.

Visualisation pour plus d'informations

Le nouveau mécanisme de visualisation statistique de SPECstorage Solution 2020 permet aux utilisateurs d'extraire des compteurs d'exécution et de les connecter à une base de données telle que Graphite, Carbon ou Grafana pour la visualisation. Cela permet de mieux comprendre le comportement et les détails de fonctionnement du système testé.

Disponible dès maintenant en téléchargement

Le benchmark SPECstorage Solution 2020 est disponible en téléchargement immédiat sur le site web de SPEC au prix de 2 000 $ (des réductions sont proposées aux établissements de recherche et d'enseignement admissibles). Les résultats de ce nouveau benchmark ne sont pas comparables à ceux des précédents benchmarks de stockage SPEC.

Les membres corporatifs de SPEC actifs dans le développement du benchmark incluent Dell, IBM, Intel, iX Systems, NetApp, Pure Storage et WekaIO. Les contributeurs individuels de soutien incluent Udayan Bapat, Sorin Faibish et Brian Pawlowski.

###

Don Capps a plus de 30 ans d'expérience dans l'ingénierie des performances pour les systèmes de stockage. Il est ingénieur de performance pour Netapp ; un fondateur de Iozone.org, une organisation à but non lucratif qui produit et distribue des logiciels gratuits pour mesurer la performance des systèmes de stockage informatique ; et président du sous-comité de stockage de Standard Performance Evaluation Corp. (SPEC).