SUSE Enterprise Storage to programowalne rozwiązanie pamięci masowej oparte na technologii Ceph, zaprojektowane z myślą o pomaganiu przedsiębiorstwom w zarządzaniu stale rosnącymi zbiorami danych. Co więcej, SUSE dąży do tego, wykorzystując korzystne warunki ekonomiczne związane z pamięcią masową, ponieważ dyski twarde stają się coraz większe, a ceny pamięci flash spadają. Choć zazwyczaj konfigurowane jako hybrydowe, Ceph jest ostatecznie tak elastyczne, jak wymagają tego klienci. Podczas gdy obecnie znaczna część rynku rozwiązań programowalnych koncentruje się na podstawowej pamięci masowej i rozwiązaniach hiperkonwergentnych, Ceph przyczynia się również do znaczącego rozwoju sprzętu. HP, Dell, Supermicro i inne firmy zainwestowały znaczne środki w gęste obudowy 3.5 cala z wieloma węzłami obliczeniowymi, aby zapewnić niezbędne platformy sprzętowe, których potrzebuje Ceph. W przypadku tej konkretnej recenzji wykorzystaliśmy sprzęt HPE, w tym serwery ProLiant i obudowy Apollo, ale SUSE Enterprise Storage można wdrożyć praktycznie na każdym urządzeniu.
Chociaż szczegółowe omówienie Ceph wykracza poza zakres tej recenzji, ważne jest, aby mieć podstawową wiedzę na temat tego, czym jest Ceph. Ceph to platforma pamięci masowej oprogramowania, która wyróżnia się unikalną możliwością dostarczania obiektów, bloków i plików do przechowywania w jednym, zunifikowanym systemie. Kolejną atrakcyjną cechą Ceph jest jego wysoka skalowalność, sięgająca nawet eksabajtów danych. Może działać na sprzęcie powszechnego użytku (co oznacza, że nie wymaga żadnych specjalnych rozwiązań). Ceph został zaprojektowany tak, aby unikać pojedynczych punktów awarii. Co ciekawe, Ceph jest dostępny bezpłatnie.
Użytkownicy mogą skonfigurować węzeł Ceph na sprzęcie klasy commodity, który wykorzystuje kilka inteligentnych demonów, w szczególności cztery: monitory klastra (ceph-mon), serwery metadanych (ceph-mds), urządzenia pamięci masowej obiektów (ceph-osd) oraz bramy RESTful (ceph-rgw). Aby lepiej chronić dane użytkowników i zwiększyć ich odporność na błędy, Ceph replikuje dane i dzieli je na wiele węzłów, co zapewnia większą przepustowość.
SUSE Enterprise Storage wykorzystuje Ceph jako bardzo dużą i ekonomiczną pamięć masową dla wielu rodzajów danych. Dane będą stale rosnąć, a Big Data jest niezwykle cenny, ale wymaga ogromnych zasobów. Big Data może dostarczać firmom informacji, które mogą być niezwykle cenne dla ich zysków, ale aby móc je analizować, potrzebują one miejsca do ich przechowywania. Oprócz możliwości ekonomicznego przechowywania ogromnych ilości danych, SUSE Enterprise Storage charakteryzuje się również wysoką elastycznością. Dzięki samozarządzaniu i samonaprawie, oprogramowanie idealnie nadaje się do szybkiego dostosowywania się do zmieniających się potrzeb. Oznacza to, że administratorzy mogą szybko dostosowywać wydajność i udostępniać dodatkową pamięć masową bez zakłóceń. Ta elastyczność zapewnia elastyczność sprzętu powszechnego użytku używanego z SUSE Enterprise Storage.
Funkcje pamięci masowej SUSE Enterprise
- Warstwowanie pamięci podręcznej
- Cienkie zaopatrzenie
- Klony kopiowania i zapisu
- Kodowanie kasujące
- Heterogeniczny dostęp do bloku systemu operacyjnego (iSCSI)
- Zunifikowany dostęp do obiektów, bloków i systemów plików (wersja zapoznawcza)
- Interfejsy API do dostępu programowego
- Integracja OpenStack
- Skalowalność węzłów lub pojemności w trybie online
- Aktualizacje oprogramowania online
- Szyfrowanie danych w stanie spoczynku
Konfiguracja sprzętowa pamięci masowej SUSE Enterprise
Węzły monitorujące śledzą stan klastra, ale nie znajdują się na ścieżce danych. W naszym przypadku trzy węzły monitorujące to serwery HPE ProLiant DL360 o wysokości 1U. W przypadku większości klastrów pamięci masowej SUSE Enterprise Storage wystarczające jest trzy węzły monitorujące, chociaż przedsiębiorstwo może wdrożyć pięć lub więcej węzłów, jeśli liczba węzłów pamięci masowej jest bardzo duża.
Węzły pamięci masowej SUSE skalują się poziomo i składają się z trzech węzłów HPE Apollo 4200 i trzech węzłów HPE Apollo 4510. W naszej konfiguracji dane są zapisywane trzykrotnie na wszystkich węzłach pamięci masowej, co oczywiście można zmienić w zależności od potrzeb. Poziomy ochrony można definiować na poziomie puli.
- 3 węzły HPE Apollo 4200
- 2 procesory Intel E5-2680 v3
- RAM 320GB
- Zestaw rozruchowy M.2
- 4x 480GB SSD
- 24 dyski SATA 7.2 tys. po 6 TB
- 1x 40Gb adapter dwuportowy
- 3 węzły HPE Apollo 4510
- 2 procesory e5-2690 v3
- RAM 320GB
- Zestaw rozruchowy M.2
- 4x 480GB SSD
- 24 dyski SATA 7.2 tys. po 6 TB
- 1x 40Gb adapter dwuportowy
- 3 węzły HPE ProLiant DL360
- 1 E5-2660v3
- RAM 64GB
- 2x 80GB SSD
- 6x 480GB SSD
- 1x 40Gb adapter dwuportowy
- 2x przełącznik HP FlexFabric 5930-32QSFP+
- Konfiguracja serwera
- SUSE Linux Enterprise Server 12 SP1 z pamięcią masową SUSE Enterprise
- Urządzenia OSD wdrożone ze stosunkiem dysków twardych do dysków SSD wynoszącym 6:1 w przypadku urządzeń dziennika
- Urządzenia HPE Apollo 4200 i 4510 współpracują ze sobą w jednym klastrze pamięci masowej obejmującym łącznie 144 urządzenia pamięci masowej
- Urządzenia DL360 pełnią role administratora, monitora i interfejsu graficznego Romana
- Usługi bramy iSCSI są wdrażane na wszystkich 6 węzłach pamięci masowej
Zarządzanie pamięcią masową SUSE Enterprise
Większością korporacyjnej pamięci masowej SUSE zarządza się za pomocą interfejsu wiersza poleceń (CLI), choć istnieje również internetowy interfejs graficzny (GUI). Obecnie SUSE korzysta z Calamari w swoim interfejsie graficznym, choć może to ulec zmianie w przyszłości. Po skonfigurowaniu i uruchomieniu Calamari użytkownicy otrzymują wgląd w to, czego zazwyczaj oczekuje się od interfejsu graficznego. Strona główna składa się z czterech głównych zakładek, które biegną u góry, w tym: Pulpit nawigacyjny, Workbench, Wykresy i Zarządzanie. Karta Pulpit nawigacyjny (domyślnie otwierana) pokazuje stan systemu wraz z wszelkimi aktualnie aktywnymi ostrzeżeniami. Wyświetlana jest całkowita liczba OSD w klastrze wraz z podaną liczbą aktywnych i nieaktywnych urządzeń. Wyświetlana jest liczba monitorów (łącznie i te, które są uruchomione). Pod nimi znajduje się również status grupy rozmieszczenia, w tym liczba aktywnych i czystych urządzeń, a także system kodów kolorów pokazujący użytkowników, którzy są czyści (zielona), pracujący (żółta) i brudni (czerwona).
Karta Workbench przedstawia użytkownikom graficzną reprezentację liczby OSD oraz to, które z nich działają poprawnie, a które nie. Na wykresie widać, że większość działa poprawnie (oznaczona kolorem zielonym), ale jeden z nich jest niesprawny, oznaczony kolorem czerwonym i nieco większy. Po lewej stronie użytkownicy mogą sortować i filtrować według OSD.
Za pośrednictwem zakładki Workbench użytkownicy mogą również uzyskać graficzną reprezentację wydajności swojej pamięci masowej. W poniższym przykładzie użytkownicy mogą zobaczyć swoje IOPS odczytu i zapisu, wykorzystanie pamięci masowej oraz liczbę hostów w raportach.
Za pomocą zakładki Wykresy użytkownicy mogą wybrać klaster i wyświetlić wykres liniowy ilustrujący wydajność klastra, obejmujący zarówno odczyt, jak i zapis.
Karta Zarządzaj umożliwia użytkownikom edycję klastrów, OSD, pul i przeglądanie logów. W podkarcie OSD użytkownicy mogą zobaczyć hosty wymienione po lewej stronie i informacje o OSD w każdym hoście. Użytkownicy mogą przesuwać OSD, aby zrównoważyć obciążenie.
Analiza syntetycznego obciążenia przedsiębiorstwa
Wydajność pamięci masowej zmienia się w miarę dostosowywania macierzy do obciążenia, co oznacza, że urządzenia pamięci masowej muszą zostać wstępnie przygotowane przed każdym syntetycznym testem porównawczym Fio , aby zapewnić dokładność testów. W każdym teście wstępnie przygotowujemy grupę do tego samego obciążenia, które zastosowano w teście głównym. Do testów uruchomiliśmy system SUSE Enterprise z oryginalną, niestrojoną konfiguracją. W przyszłości testy SUSE mogą być przeprowadzane z konkretnym systemem operacyjnym i strojeniem Ceph.
Wstępne kondycjonowanie i podstawowe testy stanu stacjonarnego:
- Przepustowość (łączna liczba operacji wejścia/wyjścia na sekundę odczytu i zapisu)
- Średnie opóźnienie (średnie opóźnienie odczytu i zapisu)
- Maksymalne opóźnienie (maksymalne opóźnienie odczytu lub zapisu)
- Odchylenie standardowe opóźnienia (uśrednione odchylenie standardowe odczytu i zapisu)
Specyfikacje Dell PowerEdge LoadGen
- Serwery Dell PowerEdge R730 (2-4)
- Procesory: Dwa Intel Xeon E5-2690 v3 2.6 GHz (12 rdzeni/28 wątków)
- Pamięć: 128 GB DDR4 RDIMM każda
- Sieć: Mellanox ConnectX-3 40GbE
Ponieważ klaster SUSE Enterprise Storage był nastawiony na duże transfery sekwencyjne, przeprowadziliśmy jeden losowy test obciążenia, jednocześnie skupiając się na trzech testach transferu sekwencyjnego w klastrze o stale rosnących rozmiarach transferów. Każde obciążenie zostało zastosowane z 10 wątkami i głębokością kolejki wynoszącą 16. Obciążenia losowe zostały zastosowane na 2 klientach, a wyniki zostały połączone w celu uzyskania wyniku łącznego, natomiast wyniki sekwencyjne zmierzono na 2 i 4 klientach. Każdy klient był połączony z urządzeniami blokowymi w klastrze CEPH za pośrednictwem protokołu RBD (RADOS Block Devices).
Profile obciążenia pracą
- 4k losowo
- 100% odczytu i 100% zapisu
- 8k sekwencyjny
- 100% odczytu i 100% zapisu
- 128k sekwencyjny
- 100% odczytu i 100% zapisu
- 1024k sekwencyjny
- 100% odczytu i 100% zapisu
W naszym losowym syntetycznym teście 4k, system SUSE Enterprise Storage (dalej nazywany SUSE dla zwięzłości) osiągnął przepustowość odczytu na poziomie 8,739 i 8,646 IOPS, a poszczególne hosty uzyskały łączny wynik odczytu na poziomie 17 385 IOPS. W przypadku przepustowości zapisu poszczególne hosty osiągnęły odpowiednio 4,571 i 4,880 IOPS, a łączny wynik wyniósł 9,451 IOPS.
Patrząc na średnie opóźnienie, oba hosty, a tym samym średnia między nimi, były bardzo zbliżone zarówno pod względem odczytu, jak i zapisu. Po stronie odczytu poszczególne hosty miały opóźnienia wynoszące 18.3 ms i 18.51 ms, a łączna wartość 18.41 ms. Po stronie zapisu poszczególne hosty miały opóźnienia 34.99 ms i 32.78 ms, a łączna wartość 33.88 ms.
Maksymalne opóźnienie wykazało dość spójny wynik w zapisie, z 4,890 ms i 4,628 ms dla poszczególnych hostów oraz łącznym wynikiem 4,759 ms. W przypadku opóźnienia odczytu różnica między poszczególnymi hostami była znacznie większa, z opóźnieniami od 5,227.2 ms do 7,125.6 ms, co dało łączny wynik 6,176.4 ms.
Odchylenie standardowe ponownie pokazało, że opóźnienie było znacznie mniejsze. Poszczególne hosty uzyskały opóźnienia odczytu wynoszące 36.7 ms i 37.21 ms, a łączny wynik wyniósł 36.96 ms. Opóźnienia zapisu wahały się od 80.18 ms do 89.84 ms, a łączny wynik wyniósł 85.01 ms.
Następnie przechodzimy do testów sekwencyjnych, z których pierwszy to nasz test 8k. Przyjrzymy się dwóm zestawom testów (SUSE 2 i SUSE 4) z dwoma hostami w SUSE 2 i czterema hostami w SUSE 4, z łącznymi wynikami dla każdego zestawu. SUSE 2 zapewnił nam przepustowość odczytu na poziomie 66 610 i 66 763 IOPS oraz przepustowość zapisu na poziomie 5,235 i 5,375 IOPS. Dla SUSE z dwoma hostami uzyskaliśmy łączne wyniki na poziomie 133 373 IOPS dla odczytu i 10 608 IOPS dla zapisu. SUSE z 4 hostami zapewnił nam przepustowość odczytu od 47 629 do 49 305 IOPS i przepustowość zapisu od 3 176 do 3 756 IOPS, co dało łączny wynik 193 771 IOPS dla odczytu i 14 280 IOPS dla zapisu.
Przechodząc do testu sekwencyjnego z dużym blokiem 128 kbps, system SUSE z dwoma hostami zapewnił nam przepustowość odczytu na poziomie 2.32 GB/s i 2.34 GB/s, a łączny wynik odczytu 4.47 GB/s. System z dwoma hostami zapewnił nam przepustowość zapisu na poziomie 568 MB/s i 572 MB/s, a łączny wynik zapisu 1.459 GB/s. System SUSE z czterema hostami zapewnił nam przepustowość odczytu w zakresie od 2 GB/s do 2.644 GB/s, a łączny wynik odczytu 9.365 GB/s. Patrząc na przepustowość zapisu, system SUSE z czterema hostami zapewnił nam przepustowość w zakresie od 353 MB/s do 373 MB/s, a łączny wynik zapisu 1.46 GB/s.
Przechodząc do jeszcze większego bloku 1,024k w teście sekwencyjnym, SUSE z dwoma hostami zapewnił nam przepustowość odczytu wynoszącą 4.48 GB/s i 4.5 GB/s, przy łącznej przepustowości 8.98 GB/s. Przepustowość zapisu SUSE z dwoma hostami zapewnił nam przepustowość 869 MB/s i 885 MB/s, przy łącznej przepustowości zapisu 1.755 GB/s. System z czterema hostami zapewnił nam przepustowość odczytu w zakresie od 2.553 GB/s do 3.295 GB/s, przy łącznej przepustowości odczytu 11.863 GB/s. Przepustowość zapisu SUSE z czterema hostami zapewniła nam przepustowość w zakresie od 372 MB/s do 618 MB/s, przy łącznej przepustowości zapisu 1.828 GB/s.
Wniosek
SUSE Enterprise Storage to rozwiązanie SDS oparte na technologii Ceph, zaprojektowane z myślą o firmach zmagających się z ciągle rosnącymi zbiorami danych. SUSE wykorzystuje Ceph do przechowywania danych zbiorczych wszystkich typów, co jest korzystne, ponieważ Big Data generuje się w wielu formach. Elastyczność Ceph jest również zaletą, ponieważ można go wdrożyć praktycznie na dowolnym sprzęcie, co oznacza, że firmy mogą korzystać z SUSE Enterprise Storage z Ceph w ramach istniejących inwestycji (w naszej recenzji wykorzystaliśmy serwery HPE ProLiant i obudowy Apollo). Elastyczność jest atutem, ale SUSE Enterprise Storage jest również wysoce adaptowalny, samozarządzający i samonaprawiający się. Innymi słowy, administratorzy korzystający z SUSE Enterprise Storage będą mogli szybko wprowadzać zmiany w wydajności i udostępniać więcej pamięci masowej bez zakłóceń.
Jeśli chodzi o wydajność, uruchomiliśmy konfigurację standardową lub nieskonfigurowaną. Ceph oferuje mnóstwo wariantów, które można skonfigurować. Zamiast dostrajać system operacyjny lub Ceph, wyniki, które widzimy, są standardowe i pomagają ustalić punkt odniesienia dla wydajności. SUSE Enterprise Storage jest bardziej nastawione na duże transfery sekwencyjne, dlatego większość naszych testów skłania się w tym kierunku. Jeśli użytkownik posiada klaster SUSE Enterprise Storage, najprawdopodobniej będzie go używał do dużych transferów sekwencyjnych i dlatego będzie bardziej zainteresowany tymi wynikami. Mimo to, nadal przeprowadziliśmy losowe testy z 4k, aby uzyskać ogólny obraz działania systemu, nawet gdy zostanie on skonfigurowany w sposób, który niekoniecznie jest dla niego odpowiedni.
W naszych losowych testach 4k uruchomiliśmy dwóch klientów, oznaczonych na wykresach jako Host 1 i Host 2. Przyjrzeliśmy się wynikom każdego z nich, a także wynikom łącznym lub zagregowanym. Jeśli chodzi o przepustowość, SUSE Enterprise Storage uzyskało łączny wynik odczytu na poziomie 17 385 IOPS i łączny wynik zapisu na poziomie 9,451 IOPS. Przy opóźnieniach 4k, SUSE Enterprise Storage uzyskało łączne średnie opóźnienia na poziomie 18.41 ms dla odczytu i 33.88 ms dla zapisu, łączne maksymalne opóźnienia na poziomie 6,176.4 ms dla odczytu i 4,759 ms dla zapisu oraz łączne odchylenie standardowe na poziomie 36.96 ms dla odczytu i 85.01 ms dla zapisu.
Przeprowadzono większe testy sekwencyjne z 4 hostami i 2 lub 4 klientami, a także łączne wyniki dla każdego z 2 i 4 klientów. Przetestowaliśmy wydajność sekwencyjną przy użyciu 8k, 128k i 1024k. Nie było zaskoczeniem, że w każdym teście łączny wynik 4 hostów klienckich był najlepszy. W 8k SUSE Enterprise Storage uzyskał wysokie łączne wyniki: 193 771 IOPS odczytu i 14 280 IOPS zapisu. W naszym teście porównawczym 128k najwyższy łączny wynik wyniósł 9.365 GB/s odczytu i 1.459 GB/s zapisu. A w naszym ostatecznym sekwencyjnym teście porównawczym dużych bloków 1024k, SUSE Enterprise Storage uzyskał wysoki łączny wynik: 11.863 GB/s odczytu i 1.828 GB/s zapisu.
ZALETY
- Wysoce skalowalne rozwiązanie umożliwiające rozszerzanie zestawów danych
- Zdefiniowane programowo oznacza elastyczność wdrażania
- Oferuje obsługę tradycyjnej łączności, takiej jak iSCSI
- Można dostosować do konkretnych obciążeń i dokładnych potrzeb
Wady
- Obsługę IO Radom można ulepszyć, aby poszerzyć zakres zastosowań
- Wymaga solidnych umiejętności w zakresie wdrażania i zarządzania systemem Linux
Podsumowanie
Rozwiązanie SUSE Enterprise Storage oferuje dużą skalę, elastyczność i wysoki poziom adaptacji dla firm, które chcą przechowywać i wykorzystywać duże zbiory danych.
Amazon