Wewnątrz nowego testu porównawczego rozwiązań pamięci masowej SPEC

przez Dona Cappsa, przewodniczącego podkomisji SPEC Storage

Standard Performance Evaluation Corp. (SPEC) opublikował nową, ważną wersję swojego testu porównawczego rozwiązań pamięci masowej, który ma pomóc menedżerom IT podejmować lepsze decyzje dotyczące zakupów, konfiguracji i optymalizacji.

Nowy test porównawczy SPECstorage Solution 2020 został oparty na rzeczywistych aplikacjach i scenariuszach z życia wziętych. Obejmuje on nowe obciążenia dla sztucznej inteligencji (AI) i genomiki, rozszerzone możliwości dostosowywania obciążeń, znacznie lepsze skalowanie oraz mechanizm wizualizacji statystycznej do wyświetlania wyników testów porównawczych. Zawiera również dziesiątki ulepszeń, które ułatwiają korzystanie z testu i zwiększają jego wydajność.

Obciążenia w świecie rzeczywistym

Obciążenia w teście porównawczym SPECstorage Solution 2020 reprezentują aplikacje używane na pięciu różnych rynkach. Każde obciążenie ma zestaw kryteriów zaliczenia/niezaliczenia, które muszą zostać spełnione, aby zweryfikować wyniki testu porównawczego. Przykładowe kryteria obejmują:

• Czy testowane rozwiązanie pamięci masowej utrzymało żądaną stałą średnią szybkość operacji.
• Czy rozwiązanie utrzymało średnie opóźnienie poniżej zadanego progu.
• Czy rozwiązanie zachowało równowagę operacji pomiędzy podkomponentami obciążenia.
• Czy rozwiązanie utrzymało maksymalne opóźnienie poniżej określonego progu dla dowolnego podkomponentu obciążenia.

Nowe obciążenie AI reprezentuje środowiska przetwarzania obrazu AI Tensorflow, a ślady są zbierane z systemów obsługujących zbiory danych COCO, Resnet50 i CityScape. Metryki oparte są na liczbie jednoczesnych zadań – zdefiniowanych jako zestaw podkomponentów obejmujących jeden kompletny przepływ pracy – które można utrzymać przy spełnieniu zdefiniowanych kryteriów zaliczenia/niezaliczenia.

Nowe obciążenie genomiczne pochodzi ze śladów operacji wejścia/wyjścia wykorzystywanych przez placówki komercyjne i badawcze do przeprowadzania analiz genetycznych. Dane zostały oczyszczone, aby nie zawierały żadnych oryginalnych danych genomowych. Metryki oparte są na liczbie jednoczesnych zadań, które można wykonać przy spełnieniu kryteriów zaliczenia/niezaliczenia obciążenia.

Z testu porównawczego SPEC SFS 2014 SP2, wydanego w grudniu 2017 r., przeniesiono trzy obciążenia:

• Obciążenie automatyzacji projektowania elektronicznego (EDA) odzwierciedla typowe zachowanie różnych aplikacji EDA, w tym przetwarzania front-end i back-end. Metryki opierają się na liczbie zadań, które można wykonać w ramach zdefiniowanego zestawu kryteriów zaliczenia/niezaliczenia.
• Obciążenie środowiska kompilacji oprogramowania obejmuje testy intensywnie wykorzystujące metadane, pochodzące z analiz i śladów systemowych rzeczywistych aplikacji. Metryki oparte są na liczbie jednoczesnych kompilacji, które można ukończyć w ramach kryteriów zaliczenia/niezaliczenia.
• Obciążenie akwizycji danych wideo (VDA) symuluje aplikacje, które przechowują dane pozyskane ze źródła wrażliwego na czas, takiego jak kamera monitorująca. Metryki są oparte na liczbie strumieni wideo, które można przechwycić przy spełnieniu kryteriów zaliczenia/niezaliczenia.

Dostosowane obciążenia

Nowy test porównawczy umożliwia użytkownikom dostosowywanie istniejących obciążeń lub tworzenie nowych w celu uzyskania wglądu w problemy z wydajnością pamięci masowej.

Dostosowane obciążenia mogą obsługiwać kombinację generatorów obciążeń Unix i Windows dla aplikacji, które wykorzystują tę kombinację w swoich przepływach pracy. Przykładem takiej kombinacji może być system Windows, który zbiera dane z czujników i przechowuje je za pomocą protokołu SMB, podczas gdy farma obliczeniowa oparta na systemie Unix analizuje te dane za pomocą NFS, Lustre, GPFS lub innej technologii systemu plików.

Zaawansowany mechanizm synchronizacji zastosowany w teście SPECstorage Solution 2020 zapewnia synchronizację wszystkich rozproszonych geograficznie procesów generujących obciążenie z rozdzielczością mniejszą niż milisekunda.

Ogromna skalowalność z mniejszą liczbą ograniczeń

Nowe wewnętrzne mechanizmy IPC w rozwiązaniu SPECstorage Solution 2020 znacząco zmniejszają liczbę portów TCP i wyszukiwań DNS, poprawiając skalowalność, niezawodność oraz wydajność uruchamiania i działania. Skalowalność wzrosła z 60 000 procesów generujących obciążenie w poprzednich wersjach do ponad 4 milionów procesów, które można rozproszyć na całym świecie.

Zaawansowany mechanizm synchronizacji utrzymuje wszystkie rozproszone geograficznie procesy generujące obciążenie w synchronizacji z rozdzielczością mniejszą niż milisekunda.

Nowa wydajność skalowania jest szczególnie istotna w przypadku testowania rozwiązań pamięci masowej w chmurze. To ważny krok naprzód, ponieważ wśród dostawców usług chmurowych porty TCP są zasobem deficytowym, a większość maszyn wirtualnych jest w stanie obsłużyć w najlepszym przypadku zaledwie kilka tysięcy. Nowy benchmark nigdy nie wymaga więcej niż 1,000 portów TCP. Umożliwia to użytkownikom skalowanie do 4 milionów procesów bez ograniczeń związanych z chmurą.

Nowy mechanizm wizualizacji statystycznej w ramach rozwiązania SPECstorage Solution 2020 umożliwia użytkownikom wyodrębnianie liczników czasu wykonania i łączenie ich z bazą danych w celu wizualizacji.

Wizualizacja dla lepszego wglądu

Nowy mechanizm wizualizacji statystycznej w oprogramowaniu SPECstorage Solution 2020 umożliwia użytkownikom wyodrębnianie liczników czasu wykonania i łączenie ich z bazą danych, taką jak Graphite, Carbon lub Grafana, w celu wizualizacji. Zapewnia to lepszy wgląd w zachowanie i szczegóły działania testowanego systemu.

Dostępne już do pobrania

Test porównawczy SPECstorage Solution 2020 jest dostępny do natychmiastowego pobrania na stronie internetowej SPEC w cenie 2,000 USD, z rabatami dla kwalifikujących się instytucji badawczych i akademickich. Wyniki nowego testu porównawczego nie są porównywalne z wynikami poprzednich testów porównawczych pamięci masowej SPEC.

Wśród korporacyjnych członków SPEC zaangażowanych w rozwój benchmarku znajdują się Dell, IBM, Intel, iX Systems, NetApp, Pure Storage i WekaIO. Wśród wspierających indywidualnych współpracowników znaleźli się Udayan Bapat, Sorin Faibish i Brian Pawlowski.

# # #

Don Capps posiada ponad 30-letnie doświadczenie w inżynierii wydajności systemów pamięci masowej. Jest inżynierem wydajności w firmie Netapp; założycielem Iozone.org, organizacji non-profit, która tworzy i dystrybuuje darmowe oprogramowanie do pomiaru wydajności komputerowych systemów pamięci masowej; oraz przewodniczącym podkomisji ds. pamięci masowej Standard Performance Evaluation Corp. (SPEC).