System plików Qumulo to unikalny, programowo definiowany, rozproszony system plików Qumulo, obejmujący centrum danych, chmurę prywatną i publiczną. Oprogramowanie Qumulo zostało stworzone z myślą o chmurze hybrydowej, co pozwala na jego działanie na wstępnie skonfigurowanych i wstępnie zakwalifikowanych platformach sprzętowych zgodnych ze standardami branżowymi, a także natywnie w wielu chmurach publicznych. W naszym laboratorium mieliśmy okazję zapoznać się z oprogramowaniem Qumulo i niektórymi z jego najważniejszych możliwości. W tej recenzji przyjrzymy się systemowi plików Qumulo i jego graficznemu interfejsowi użytkownika (GUI).
Aby wprowadzać innowacje, organizacje polegają na nowoczesnej pamięci masowej, infrastrukturze danych, starszych i chmurowych aplikacjach i usługach, pamięci masowej w chmurze, a także na nieustrukturyzowanym zarządzaniu danymi i platformach. Jednak nieustrukturyzowane dane stają się coraz bardziej uciążliwe dla firm, które chcą migrować do chmury lub korzystać z hybrydowego modelu chmury, ponieważ tego rodzaju dane tworzą nowy silos danych; na większości dostępnych platform chmurowych. Dział IT mierzy się z tym problemem, że często jest przytłoczony koniecznością zarządzania obciążeniami w dwóch różnych systemach plików: lokalnym i chmurowym.
Jednak prawdziwym problemem nie są platformy chmurowe ani platformy danych nieustrukturyzowanych. Nadal korzystamy ze starszych systemów przechowywania plików, które nie nadają się do migracji do chmury. Jak podkreśla Qumulo, IT się zmieniło, ale przechowywanie plików nie. Ostatnie udane architektury przechowywania plików powstały ponad 15 lat temu, zanim chmura rozkwitła. Natomiast nowoczesne systemy przechowywania plików powinny być gotowe do pracy w chmurze: ujednolicać wszystkie typy danych nieustrukturyzowanych, skalować do miliardów plików, obejmować wiele centrów danych i samą chmurę. Ponadto powinny zapewniać widoczność i automatyzację dzięki analityce w czasie rzeczywistym i kontroli opartej na API.
Qumulo: system plików gotowy do pracy w chmurze
Identyfikując się jako firma oferująca inny rodzaj pamięci masowej, Qumulo twierdzi, że posiada pierwszy system plików obsługujący obciążenia w chmurze hybrydowej i oferujący natywne dla chmury usługi przetwarzania plików. Dzięki temu oprogramowaniu firma koncentruje się na platformach danych niestrukturalnych i obsługuje aplikacje oraz mikrousługi dla twórców oprogramowania i deweloperów. Oprogramowanie systemu plików Qumulo jest dostępne w chmurze publicznej, prywatnej i hybrydowej.
Warstwy oprogramowania Qumulo obejmują:
- Platformy. Obecne platformy sprzętowe obejmują HPE i Fujitsu oraz chmury publiczne AWS i GCP. Qumulo ogłosiło niedawno możliwość przenoszenia danych z pliku do obiektu, aby wykorzystać aplikacje i usługi natywne dla chmury, które wykorzystują dane obiektowe.
- System operacyjny. Oparty na standardowym Ubuntu Linux.
- Skalowalny magazyn bloków (SBS). Fundament Qumulo. Zapewnia skalowalność, przenośność, ochronę i wydajność.
- System plików. Umożliwia skalowalną liczbę plików i wysokowydajne operacje na plikach. Zapewnia również wgląd w czasie rzeczywistym w wydajność i pojemność.
- Usługi danych. Chroń, zabezpieczaj i zarządzaj danymi na platformie Qumulo za pomocą narzędzi klasy korporacyjnej. Ta warstwa składa się z pięciu funkcji: migawek, replikacji, limitów, audytu i kontroli dostępu opartej na rolach (RBAC).
- Zarządzanie i programowalność. Umożliwia budowanie zintegrowanych rozwiązań z platformą Qumulo oraz automatyzację i zarządzanie usługami danych przez administratorów.
- Dostęp do danych i uwierzytelnianie. Umożliwia dostęp do danych za pomocą standardowych aplikacji i systemów operacyjnych, zapewniając jednocześnie bezpieczeństwo klasy korporacyjnej. Ta warstwa obsługuje protokoły dostępu dla przedsiębiorstw, w tym NFS, SMB i FTP.
Skupiamy się tutaj na systemie plików, który opiera się na koncepcji organizacji danych w logicznych strukturach i umożliwia obsługę obciążeń z ogromną liczbą plików. System plików wykorzystuje rozproszoną architekturę, która reprezentuje pojedynczą przestrzeń nazw. Używane platformy to klastry niezależnych węzłów, z których każdy zapewnia pojemność i wydajność. Poszczególne węzły spójnie koordynują się ze sobą, umożliwiając każdemu klientowi połączenie się z dowolnym węzłem oraz odczyt i zapis w przestrzeni nazw. Ta struktura jest bardzo interesująca; została zaprojektowana, aby twórcy mogli współpracować nad zestawami danych w trakcie cyklu ich życia. Zapewnia ona również wgląd w czasie rzeczywistym w wydajność i wykorzystanie pojemności, nawet gdy systemy skalują się do petabajtów i miliardów plików.
System plików Qumulo organizuje dane w katalogach i prezentuje je klientom SMB i NFS, umożliwiając współdzielenie danych między protokołami, dając wielu różnym użytkownikom i aplikacjom dostęp do tych samych danych. System plików wyróżnia się unikalnymi właściwościami, takimi jak wykorzystanie drzew B i wbudowany mechanizm analizy danych w czasie rzeczywistym.
Dzięki wykorzystaniu struktury B-drzew, Qumulo może skalować się do miliardów plików bez problemów typowych dla innych systemów. B-drzewka są szczególnie przydatne w systemach odczytujących i zapisujących dużą liczbę bloków danych, ponieważ są „płytkimi” strukturami danych, które minimalizują ilość operacji wejścia/wyjścia wymaganych dla każdej operacji wraz ze wzrostem ilości danych. Struktury te idealnie sprawdzają się w systemach plików i rozbudowanych indeksach baz danych.
Kolejnym kluczowym elementem systemu plików Qumulo jest funkcja analizy danych z silnikiem analitycznym działającym w czasie rzeczywistym. Świadomość danych oznacza wielowymiarowy wgląd w system pamięci masowej, zapewniając bogaty wgląd w informacje o zawartości, aktywności, użytkownikach i innych elementach systemu. Dzięki analityce Qumulo w czasie rzeczywistym administratorzy pamięci masowej mogą szybko monitorować wykorzystanie i wydajność pamięci masowej, w tym przepustowość i opóźnienia. Taka widoczność umożliwia organizacjom kontrolę nad nieustrukturyzowanymi danymi oraz redukcję ogólnych kosztów operacyjnych i kapitałowych poprzez proaktywne zarządzanie bieżącymi potrzebami, a także lepsze przewidywanie przyszłych potrzeb w zakresie pamięci masowej. Interfejs internetowy Qumulo, omówiony w poniższej sekcji, przenosi tę widoczność na wyższy poziom zarządzania systemem.
Dzięki swojej architekturze oprogramowania i specyficznemu systemowi plików, Qumulo pozwala organizacjom osiągać cele biznesowe, które wcześniej były niemożliwe do osiągnięcia wyłącznie w lokalnym centrum danych. Jedną z zalet Qumulo jest możliwość uruchomienia systemu plików lokalnie, a następnie uruchomienia dokładnie tego samego oprogramowania w chmurze. Firma jest znana jako dostawca skalowalnej pamięci masowej plików. Teraz, wykorzystując elastyczność chmury i skalę zarówno chmury obliczeniowej, jak i infrastruktury pamięci masowej w chmurze, w połączeniu z oprogramowaniem Qumulo, niezwykle wydajne jest przesyłanie danych w obie strony oraz łatwe skalowanie w poziomie lub w pionie centrum danych. Na przykład, firmy mogą przenieść swoje aplikacje lokalne do chmury w obecnej postaci i to po prostu działa. A jeśli użytkownik ma dane plikowe, które chce wykorzystać za pomocą usług chmurowych, takich jak uczenie maszynowe lub sztuczna inteligencja, funkcja Shift Qumulo skopiuje je do magazynu obiektów w chmurze, aby uzyskać dostęp do innowacyjnych aplikacji natywnych dla chmury.
Przenosząc te obciążenia do chmury, organizacje chcą również zrozumieć, jak działają ich dane. To samo doświadczenie, które oferuje analityka Qumulo dla platform sprzętowych, można znaleźć w chmurze, oferując pełne doświadczenie chmury hybrydowej. Niezależnie od tego, czy firmy uruchamiają oprogramowanie na urządzeniu fizycznym, czy w chmurze, oprogramowanie pozostaje takie samo, w tym ten sam interfejs graficzny i te same funkcje.
Więcej szczegółów na temat funkcji i możliwości znajdziesz w dokumentacji technicznej na stronie internetowej Qumulo.
Wydajność Qumulo
Konfiguracja wydajności
Konfiguracja węzłów Qumulo w naszym 5-węzłowym klastrze obejmowała dwa porty 25 GbE w architekturze LACP z czterema dyskami SSD SATA o pojemności 480 GB i dwunastoma dyskami twardymi SATA o pojemności 6 TB każdy. Na potrzeby testów pamięci masowej udostępniliśmy jedną przestrzeń nazw NFS dla naszych ośmiu serwerów Dell EMC PowerEdge R740xd, z których każdy miał przypisany jeden port 25 Gb do przełącznika vSwitch łączącego się z udziałem NFS. Następnie wykorzystaliśmy nasze 16 serwerów CentOS LoadGen w VMware, z których każdy miał przydzielone dwa dyski vDisk o pojemności 125 GB, co dało nam łącznie 4 TB przestrzeni dyskowej w klastrze.
W przypadku testów porównawczych macierzy pamięci masowej, testy aplikacji są najlepsze, a testy syntetyczne plasują się na drugim miejscu. Chociaż nie odzwierciedlają one idealnie rzeczywistych obciążeń, testy syntetyczne pomagają w ustaleniu punktu odniesienia dla urządzeń pamięci masowej, zapewniając powtarzalność, która ułatwia bezpośrednie porównanie konkurencyjnych rozwiązań. Obciążenia te oferują szereg różnych profili testowych, od testów „czterech kątów”, przez testy rozmiaru transferu baz danych, po przechwytywanie śladów z różnych środowisk VDI. Wszystkie te testy wykorzystują generator obciążeń vdBench z silnikiem skryptowym do automatyzacji i przechwytywania wyników w dużym klastrze obliczeniowym. Pozwala to na powtarzanie tych samych obciążeń dla szerokiej gamy urządzeń pamięci masowej, w tym macierzy flash i pojedynczych urządzeń pamięci masowej.
Ponieważ macierz pamięci masowej Qumulo została zoptymalizowana pod kątem transferów dużych bloków, nasze testy skupiły się na sekwencyjnych transferach 64 KB, 1024 KB i 2048 KB.
Profile:
- 64K Sekwencyjny odczyt: 100% odczytu, 32 wątków, 0-120% ioracji
- 64K Sekwencyjny zapis: 100% zapisu, 32 wątków, 0-120% ioratu
- 1024K Sekwencyjny odczyt: 100% odczytu, 32 wątków, 0-120% ioracji
- 1024K Sekwencyjny zapis: 100% zapisu, 32 wątków, 0-120% ioratu
- 2048K Sekwencyjny odczyt: 100% odczytu, 32 wątków, 0-120% ioracji
- 2048K Sekwencyjny zapis: 100% zapisu, 32 wątków, 0-120% ioratu
Pierwszy jest nasz sekwencyjny test porównawczy 64K, który osiągnął wynik 74 619 IOPS lub 4.66 GB/s przy opóźnieniu 11.3 ms.
Zapis 64 KB osiągnął szczytową wydajność około 9 000 IOPS lub 555 MB/s przy opóźnieniu 110 ms.
Następnie przechodzimy do testów 1024 KB. W przypadku odczytu zanotowaliśmy maksymalną wydajność na poziomie 7,128 IOPS, czyli 7.13 GB/s, przy opóźnieniu 108 ms.
Podczas zapisu 1024 KB osiągnięto szczytową wartość około 1,670 IOPS lub 1.6 GB/s przy opóźnieniu 557 ms, po czym nastąpił niewielki spadek.
Nasze ostateczne sekwencyjne testy porównawcze to 2048 KB. W przypadku wydajności odczytu osiągnęliśmy szczyt 3,858 IOPS, czyli 7.7 GB/s, przy opóźnieniu 184 ms.
Wreszcie, podczas zapisu 2048K zaobserwowaliśmy szczytową wartość 1,055 IOPS lub 2.1 GB/s przy opóźnieniu 433 ms.
Przegląd interfejsu użytkownika Qumulo Web
W poniższej sekcji omawiamy internetowy interfejs użytkownika Qumulo i niektóre z jego kluczowych konfiguracji. Firma oferuje ten internetowy interfejs użytkownika administratorom, umożliwiający wdrażanie, zarządzanie i monitorowanie środowisk centrów danych i chmur.
Po zalogowaniu się do klastra jako administrator, zostajemy przeniesieni bezpośrednio na stronę Panelu sterowania. W tym momencie od razu dostrzegamy unikalny i nowoczesny interfejs użytkownika, zaproponowany przez Qumulo. Interfejs ten składa się z intuicyjnego, uporządkowanego w zakładkach menu; znajduje się ono w lewym górnym rogu ekranu i zawiera wszystkie kategorie potrzebne do wdrażania, zarządzania i monitorowania naszej infrastruktury. Menu główne składa się z zakładek: Panel sterowania, Analityka, Udostępnianie, Klaster, API i narzędzia oraz Wsparcie. Po najechaniu na te zakładki, interfejs użytkownika wyświetla listę rozwijaną umożliwiającą dostęp do wszystkich dostępnych stron. W prawym górnym rogu użytkownicy mogą zobaczyć aktualną wersję oprogramowania, godzinę (w oparciu o lokalny czas klienta przeglądarki internetowej) oraz aktualnie zalogowanego użytkownika.
Jednak na stronie Pulpitu nawigacyjnego zauważymy atrakcyjny układ interfejsu użytkownika, który ułatwia monitorowanie infrastruktury i pozwala nam obserwować różne krytyczne obszary, takie jak przegląd klastra, trendy pojemności, aktywność klienta, a także w czasie rzeczywistym aktywność klastra.
Jedną z koncepcji interfejsu użytkownika w obszarze Pulpitu nawigacyjnego, która szczególnie przypadła nam do gustu, jest dynamiczna interakcja ze wszystkimi jego elementami. Na przykład, w sekcji Aktywność klastra, można łatwo przeciągać, aby przesuwać, rozszerzać lub zawężać żądaną aktywność informacyjną, którą chcemy monitorować w ciągu 24 godzin. Mamy tu również kilka predefiniowanych okresów: 1 minutę, 5 minut, 1 godzinę i domyślny 3 godziny. Metryki (IOPS i Przepustowość) będą dostosowywane odpowiednio do danych szczytowych.
Przesuwając stronę Pulpitu nawigacyjnego w dół, znajdziemy obszar Aktywność klienta.
Teraz przechodzimy bezpośrednio do obszaru, w którym Qumulo się wyróżnia – analityki. Jak wspomniano wcześniej, Qumulo pozwala administratorom zarządzać danymi i użytkownikami w czasie rzeczywistym. W sekcji Analityka > Analityka zintegrowana, po lewej stronie znajduje się panel informacyjny, w którym znajdują się klienci wykorzystujący najwięcej zasobów systemu oraz katalogi i pliki, które są aktywnie odczytywane i zapisywane. Informacje te są wyświetlane po kliknięciu konkretnego katalogu lub podkatalogu.
Przechodząc do strony „Eksplorator pojemności”, nadal w zakładce „Analiza”, możemy zobaczyć, jak pojemność jest rozłożona w systemie. Najpierw mamy ogólny przegląd pojemności katalogu, uporządkowanej od największej do najmniejszej.
Klikając na katalog, możemy zagłębić się w szczegóły i przyjrzeć się każdemu z nich z bardziej szczegółowej perspektywy. Na przykład, poniższy obraz przedstawia podkatalogi zawarte w katalogu o nazwie „vmw”.
A jeśli będziemy klikać dalej w podkatalogi, w końcu dotrzemy do szczegółów na poziomie pliku. Tym razem kliknęliśmy na podkatalog o nazwie „netapp-centos01”.
Następna strona w sekcji Analityka to Trendy Pojemności. Tutaj możemy uzyskać wszystkie szczegóły potrzebne do monitorowania i zarządzania wykorzystaniem pojemności klastra w czasie. Dwa główne obszary to Historia Pojemności i Zmiany Pojemności. Pojemności te obejmują metadane, dane i migawki (wyłączone tylko w sekcji Zmiany Pojemności). Historię i zmiany pojemności można szybko filtrować według przedziałów czasowych z ostatnich 72 godzin, ostatnich 30 dni lub ostatnich 52 tygodni. To doskonałe opcje, które pomagają administratorom pamięci masowej wizualizować i zarządzać klastrem pod kątem skalowalności oraz analizować istotne zmiany pojemności.
Kolejną sekcją, którą omówiliśmy na karcie Analityka, jest Aktywność, gdzie znajdziemy punkty aktywne przepustowości, punkty aktywne IOPS, klientów i ścieżki. Strona Punkty aktywne IOPS pozwala nam zidentyfikować punkty aktywne wejścia/wyjścia na sekundę w naszym systemie pamięci masowej. Wykres przedstawia najbardziej aktywne katalogi pod względem operacji odczytu/zapisu plików i metadanych. Poziom szczegółowości tych danych można dostosować za pomocą suwaka w prawym górnym rogu wykresu. Dostępna jest również przydatna opcja wstrzymania wyświetlania, dostępna z poziomu przycisku „Automatyczne odświeżanie”.
Możemy również monitorować aktywność poszczególnych klientów. Analiza pozwala nam sprawdzić, którzy klienci są najbardziej aktywni pod względem przepustowości i IOPS.
Monitorujemy także aktywność w chmurze według Path.
Następną zakładką w menu głównym jest Udostępnianie, a pierwszą analizowaną przez nas stroną są Limity. Qumulo umożliwia zarządzanie limitami pojemności w czasie rzeczywistym, pozwalając administratorom określić, ile miejsca dany katalog może przeznaczyć na pliki. Z tej strony możemy tworzyć, edytować lub usuwać limity.
Następne dwie strony to Eksporty NFS i Udostępnienia SMB, które umożliwiają klientom udostępnianie danych przechowywanych w określonym katalogu. Na przykład w sekcji Eksporty NFS możemy tworzyć nowe eksporty, a także je edytować i usuwać.
Kolejnym elementem menu głównego jest zakładka Klaster. W menu Klaster znajdziemy różne konfiguracje i opcje związane z klastrem i systemem ogólnie. Na pierwszej stronie, Przegląd, znajdują się istotne informacje o pojemności naszego klastra i jego węzłów.
Klikając jeden z węzłów, możemy przejść do bardziej szczegółowych szczegółów sprzętowych. Na przykład, klikając węzeł „sr-qumulo-1”, możemy wyświetlić istotne informacje o sieci i sprawdzić stan jej kondycji.
W menu Klaster znajdziemy również kluczowe funkcje pamięci masowej, takie jak migawki i replikacja. Znajdziemy tu również inne opcje, takie jak konfiguracja sieci, zmiana nazwy klastra, dodawanie nowego hosta do klastra i wiele innych. Możemy również skonfigurować protokoły FTP i SMB. W tym menu możemy również zarządzać uwierzytelnianiem i autoryzacją. Poniższy obrazek przedstawia przykładową stronę Użytkownicy i Grupy Lokalne.
Z zakładki API i narzędzia możemy uzyskać dostęp do strony Qumulo Core bezpośrednio w interfejsie użytkownika. Tutaj możemy pobrać wrappery biblioteki klienta Python oraz interfejs wiersza poleceń dla interfejsu REST API Qumulo Core.
Ostatnia zakładka w menu to Wsparcie, a pierwsza strona, którą tu znaleźliśmy, to Qumulo Care – usługa monitorowania w chmurze, którą możemy włączyć, aby wysyłała dane do Qumulo. W ten sposób zespół Qumulo może lepiej rozwiązywać problemy i przyspieszać rozwiązywanie wszelkich problemów związanych z klastrem.
Na koniec w menu mamy stronę Uaktualnienia oprogramowania.
Wniosek
Aby wprowadzać innowacje, organizacje polegają na platformach danych nieustrukturyzowanych i pamięci masowej z obsługą danych, które są słabo obsługiwane przez dostępne rozwiązania. W niniejszym przeglądzie przeanalizowaliśmy system plików Qumulo, opracowany w celu zapewnienia dostępu do danych nieustrukturyzowanych we wszystkich środowiskach. Qumulo jest jednym z pionierów pamięci masowej z obsługą danych i usług przetwarzania plików w chmurze, oferując unikalne, definiowane programowo rozwiązanie dla chmury hybrydowej.
W ostatniej części artykułu przyjrzeliśmy się interfejsowi użytkownika Qumulo Web-UI. Wcześniej omawialiśmy graficzne interfejsy użytkownika (GUI) niektórych z najpopularniejszych serwerów i urządzeń pamięci masowej, a tym razem z przyjemnością omówiliśmy nowy interfejs Qumulo. Na pierwszy rzut oka dostrzegamy elegancki design tego interfejsu, doskonałe wrażenia użytkownika oraz to, jak bardzo ułatwia on codzienne zarządzanie administratorom.
Ogólnie rzecz biorąc, oprogramowanie Qumulo oferuje klientom wyjątkowy zestaw możliwości, narzędzi do monitorowania i planowania. Oprogramowanie upraszcza proces migracji do chmury. Wspiera przenoszenie danych dzięki migracji do chmury metodą „lift-and-shift”, jednocześnie zapewniając zaawansowaną analitykę w czasie rzeczywistym, która pozwala wykrywać i natychmiast uzyskiwać wgląd w to, co dzieje się z naszymi cennymi danymi.
Amazon