Souborový systém Qumulo je unikátní softwarově definovaný distribuovaný souborový systém od společnosti Qumulo, který zahrnuje datová centra, privátní i veřejný cloud. Jeho software je navržen pro hybridní cloud, což mu umožňuje běžet na předkonfigurovaných a předkvalifikovaných hardwarových platformách odpovídajících průmyslovým standardům a také nativně napříč několika veřejnými cloudy. V naší laboratoři jsme měli možnost prostudovat software Qumulo a některé z jeho nejvýznamnějších funkcí. V této konkrétní recenzi se podíváme na souborový systém Qumulo a jeho grafické uživatelské rozhraní (GUI).
Pro inovace se organizace spoléhají na moderní úložiště, datovou infrastrukturu, starší a cloudové aplikace a služby a cloudová úložiště, stejně jako na správu nestrukturovaných dat a platformy. Nestrukturovaná data se však stávají nepříjemnou záležitostí pro společnosti, které chtějí migrovat do cloudu nebo využít hybridní cloudový model, protože tento druh dat vytváří nové datové silo ve většině dostupných cloudových platforem. IT oddělení čelí tomuto důsledku, že je nejčastěji zahlceno správou úloh ve dvou různých souborových systémech: jednom v jejich prostorách a druhém v cloudu.
Skutečným problémem však nejsou cloudové platformy ani platformy pro nestrukturovaná data. Stále používáme starší úložiště souborů, které není vhodné pro přechod do cloudu. Jak zdůrazňuje Qumulo, IT se změnilo, ale úložiště souborů ne. Poslední úspěšné architektury úložišť souborů byly vytvořeny před více než 15 lety, ještě před boomem cloudu. Naproti tomu moderní úložiště souborů by mělo být připraveno na cloud: sjednotit všechny nestrukturované datové typy, škálovat na miliardy souborů, zahrnovat více datových center a samotný cloud. Také by mělo poskytovat přehled a automatizaci pomocí analýzy v reálném čase a řízení řízeného API.
Qumulo: souborový systém připravený pro cloud
Společnost Qumulo, která se identifikuje jako odlišný typ úložné společnosti, tvrdí, že má první souborový systém, který řeší hybridní cloudové úlohy a poskytuje cloudově nativní souborové datové služby. S tímto softwarem se společnost zaměřuje na platformy nestrukturovaných dat a podporuje aplikace a mikroslužby pro tvůrce a vývojáře. Software souborového systému Qumulo je k dispozici ve veřejném, soukromém a hybridním cloudu.
Mezi vrstvy softwaru Qumulo patří:
- Platformy. Mezi současné hardwarové platformy patří HPE a Fujitsu a veřejné cloudy AWS a GCP. Společnost Qumulo také nedávno oznámila možnost přesunu dat ze souboru do objektu, aby mohla využívat cloudové aplikace a služby, které využívají objektová data.
- Operační systém. Založený na standardním Ubuntu Linuxu.
- Škálovatelné blokové úložiště (SBS). Základ Qumulo. Umožňuje škálovatelnost, přenositelnost, ochranu a výkon.
- Souborový systém. Umožňuje škálovatelný počet souborů a vysoce výkonné operace se soubory. Také poskytuje přehled o výkonu a kapacitě v reálném čase.
- Datové služby. Chraňte, zabezpečte a spravujte data na platformě Qumulo pomocí nástrojů podnikové úrovně. Tato vrstva se skládá z pěti funkcí: snímky, replikace, kvóty, audit a řízení přístupu na základě rolí (RBAC).
- Správa a programovatelnost. Umožňují vytvářet integrovaná řešení s platformou Qumulo a administrátorům automatizovat a spravovat jejich datové služby.
- Přístup k datům a ověřování. Umožňuje přístup k datům pomocí standardních aplikací a operačních systémů a zároveň zajišťuje zabezpečení na podnikové úrovni. Tato vrstva podporuje podnikové přístupové protokoly, včetně NFS, SMB a FTP.
Naše zaměření je zde souborový systém, který je založen na konceptu organizace dat do logických struktur a umožňuje práci s velkým počtem souborů. Souborový systém využívá distribuovanou architekturu, která představuje jeden jmenný prostor. Použité platformy jsou nesdílené klastry nezávislých uzlů, přičemž každý uzel poskytuje kapacitu a výkon. Jednotlivé uzly se vzájemně konzistentně koordinují, což umožňuje jakémukoli klientovi připojit se k jakémukoli uzlu a číst a zapisovat v jmenném prostoru. Tato struktura je velmi zajímavá; jejím účelem je, aby tvůrci mohli spolupracovat na datových sadách během jejich procházení životním cyklem dat. Poskytuje také přehled o výkonu a využití kapacity v reálném čase, a to i v případě, že systémy škálují na petabajty a miliardy souborů.
Souborový systém Qumulo organizuje data do adresářů a prezentuje je klientům SMB a NFS s možností sdílení dat napříč protokoly, což umožňuje přístup ke stejným datům více různým uživatelům a typům aplikací. Souborový systém má jedinečné vlastnosti, ve kterých vyniká: použití B-stromů a vestavěný engine pro analýzu dat v reálném čase.
Díky využití struktury B-stromů se Qumulo může škálovat na miliardy souborů, aniž by se setkal s problémy, které jsou typické pro jiné systémy. B-stromy jsou obzvláště vhodné pro systémy, které čtou a zapisují velké množství datových bloků, protože se jedná o „mělké“ datové struktury, které minimalizují množství I/O operací potřebných pro každou operaci s rostoucím počtem dat. Tyto struktury jsou ideální pro souborové systémy a rozsáhlé databázové indexy.
Další klíčovou součástí souborového systému Qumulo je schopnost pracovat s daty pomocí analytického enginu v reálném čase. Datový přehled znamená vícerozměrný přehled o úložném systému, který poskytuje cenné informace o obsahu systému, aktivitě, uživatelích a dalších informacích. Díky analytice Qumulo v reálném čase mohou správci úložišť rychle sledovat využití a výkon úložiště, včetně propustnosti a latence. Tento přehled umožňuje organizacím získat kontrolu nad svými nestrukturovanými daty a snížit celkové provozní a kapitálové náklady proaktivní správou aktuálních potřeb a lepším předpovídáním budoucích požadavků na úložiště. Webové uživatelské rozhraní Qumulo, jak je popsáno v následující části, posouvá tento přehled na další úroveň správy systému.
Díky své softwarové architektuře a specifickému souborovému systému umožňuje Qumulo organizacím dosáhnout obchodních cílů, které dříve nebyly možné pouze v on-premise datovém centru. Jednou z výhod Qumulo je provozování souborového systému on-premise a následné spuštění stejného softwaru v cloudu. Společnost je známá jako poskytovatel škálovatelného úložiště souborů. Nyní, využití elasticity cloudu a škálovatelnosti cloudové výpočetní i úložné infrastruktury ve spojení se softwarem Qumulo umožňuje velmi efektivní přesun dat tam a zpět a snadné škálování datového centra. Společnosti by například mohly vzít své on-premise aplikace tak, jak jsou, přesunout je do cloudu a ono to prostě funguje. A pokud má uživatel souborová data, která chce využít s cloudovými službami, jako je strojové učení nebo umělá inteligence, funkce Shift v Qumulo zkopíruje data do cloudového úložiště objektů, aby získal přístup k inovacím cloudově nativních aplikací.
S tím, jak organizace přesouvají tyto úlohy do cloudu, chtějí také pochopit, jak si jejich data vedou. Stejné prostředí, jaké analytika Qumulo nabízí pro hardwarové platformy, se nachází i v cloudu a nabízí plně hybridní cloudové prostředí. Ať už firmy provozují software ve fyzickém zařízení nebo v cloudu, software je stejný, včetně stejného grafického rozhraní a funkcí.
Pro více informací o funkcích a možnostech doporučujeme navštívit technickou dokumentaci na webových stránkách Qumulo.
Výkon Qumulo
Konfigurace výkonu
Konfigurace uzlů Qumulo v našem 5uzlovém clusteru zahrnovala dva 25GbE porty v LACP se čtyřmi 480GB SATA SSD disky a dvanácti 6TB SATA HDD disky. Pro naše testy úložiště jsme našim osmi serverům Dell EMC PowerEdge R740xd zřídili jeden jmenný prostor NFS, každý s jedním 25G portem přiřazeným k vSwitchi připojujícímu se ke sdílené složce NFS. Poté jsme použili našich 16 CentOS LoadGenů ve VMware, každý s přidělenými dvěma 125GB vDisky, což nám dalo celkem 4TB kapacitu clusteru.
Pokud jde o benchmarking úložných polí, nejlepší je testování aplikací a syntetické testování je na druhém místě. I když syntetické testy nepředstavují dokonalou reprezentaci skutečných pracovních zátěží, pomáhají stanovit základní parametry úložných zařízení s faktorem opakovatelnosti, který usnadňuje porovnávání konkurenčních řešení. Tyto pracovní zátěže nabízejí řadu různých testovacích profilů, od testů „čtyř rohů“, běžných testů velikosti přenosu databáze až po zachycení tras z různých prostředí VDI. Všechny tyto testy využívají běžný generátor pracovních zátěží vdBench se skriptovacím enginem pro automatizaci a zachycení výsledků na velkém clusteru výpočetního testování. To nám umožňuje opakovat stejné pracovní zátěže napříč širokou škálou úložných zařízení, včetně flash polí a jednotlivých úložných zařízení.
Vzhledem k tomu, že úložné pole Qumulo je optimalizováno pro přenosy velkých bloků, naše testy se zaměřily na sekvenční přenosy o rychlostech 64K, 1024K a 2048K.
Profily:
- 64K sekvenční čtení: 100% čtení, 32 vláken, rychlost čtení 0–120 %
- 64K sekvenční zápis: 100% zápis, 32 vláken, rychlost zápisu 0–120 %
- 1024K sekvenční čtení: 100% čtení, 32 vláken, rychlost čtení 0–120 %
- 1024K sekvenční zápis: 100% zápis, 32 vláken, rychlost zápisu 0–120 %
- 2048K sekvenční čtení: 100% čtení, 32 vláken, rychlost čtení 0–120 %
- 2048K sekvenční zápis: 100% zápis, 32 vláken, rychlost zápisu 0–120 %
Prvním z nich je náš sekvenční benchmark s 64K přenosy, který dosahuje 74 619 IOPS neboli 4.66 GB/s s latencí 11.3 ms.
Při zápisu 64K bylo dosaženo maximálního výkonu přibližně 9K IOPS neboli 555 MB/s s latencí 110 ms.
Dále přejdeme k našim testům s 1024K. Při čtení jsme zaznamenali maximální výkon 7 128 IOPS neboli 7.13 GB/s s latencí 108 ms.
Při zápisu 1024K došlo k maximu zhruba 1 670 IOPS neboli 1.6 GB/s s latencí 557 ms, než došlo k určitému poklesu.
Naše finální sekvenční benchmarky jsou 2048K. V oblasti čtení jsme dosáhli vrcholu 3 858 IOPS neboli 7.7 GB/s při latenci 184 ms.
Nakonec jsme v našem zápisu o objemu 2048 tisíc operací zaznamenali vrchol 1 055 IOPS neboli 2.1 GB/s s latencí 433 ms.
Přehled webového uživatelského rozhraní Qumulo
V následující části se podíváme na webové uživatelské rozhraní Qumulo a některé jeho klíčové konfigurace. Společnost nabízí toto webové uživatelské rozhraní pro administrátory, kteří chtějí nasazovat, spravovat a monitorovat datová centra a cloudová prostředí.
Po přihlášení do clusteru jako administrátor se dostaneme přímo na stránku Dashboard (Řídicí panel). V tomto okamžiku si okamžitě uvědomíme unikátní a moderně vypadající webové uživatelské rozhraní navržené společností Qumulo. Toto webové uživatelské rozhraní se skládá z intuitivní nabídky, která je přehledně uspořádaná do karet; vidíme ji v levém horním rohu obrazovky a která rychle zahrnuje všechny kategorie potřebné k nasazení, správě a monitorování naší infrastruktury. Hlavní nabídka se skládá z karet Dashboard (Řídicí panel), Analytics (Analytika), Sdílení, Cluster (Cluster), API a nástroje a Podpora. Po kliknutí na tyto karty se v uživatelském rozhraní zobrazí rozevírací seznam pro přístup ke všem různým stránkám, které uživatelské rozhraní nabízí. V pravém horním rohu uživatelé vidí aktuální verzi softwaru, čas (na základě místního času klienta webového prohlížeče) a aktuálně přihlášeného uživatele.
Přesto si na stránce Dashboard všimneme atraktivního rozvržení uživatelského rozhraní, které usnadňuje monitorování infrastruktur a kde můžeme sledovat různé kritické oblasti, jako je přehled clusteru, trendy kapacity, aktivita klientů a v reálném čase i aktivita clusteru.
Jeden koncept, který se nám na uživatelském rozhraní v oblasti Dashboard obzvláště líbil, je dynamická interakce se všemi jeho prvky. Například v části Cluster Activity (Aktivita clusteru) lze snadno přetažením přesunout, rozbalit nebo zúžit požadovanou informační aktivitu, kterou chceme sledovat, a to v rámci 24 hodin. Máme zde také několik předvoleb s periodami 1 minuta, 5 minut, 1 hodina a výchozími 3 hodiny. Metriky (IOPS a propustnost) se upraví podle maximálních dat.
Posouváním dolů na stránce Dashboard najdeme oblast Aktivita klienta.
Nyní se přesuneme přímo k oblasti, kde Qumulo vyniká, a to k analytice. Jak již bylo zmíněno, Qumulo umožňuje administrátorům spravovat data a uživatele v reálném čase. V části Analytika > Integrovaná analytika vidíme vlevo informační panel s klienty, kteří využívají nejvíce systémových zdrojů a jejichž adresáře a soubory se aktivně čtou a zapisují. Tyto informace se zobrazí po kliknutí na konkrétní adresář nebo podadresář.
Na stránce Průzkumník kapacity, stále na kartě Analýza, si můžeme prohlédnout, jak je kapacita v systému rozložena. Nejprve máme obecný přehled kapacity adresáře, seřazený od největší po nejmenší.
Kliknutím na adresář se můžeme do každého z nich ponořit a prozkoumat je podrobněji. Například obrázek níže ukazuje podadresáře obsažené v adresáři s názvem „vmw“.
A pokud budeme pokračovat v klikání na podadresáře, nakonec se dostaneme k podrobnostem na úrovni souborů. Tentokrát jsme klikli na podadresář s názvem „netapp-centos01“.
Další stránka v sekci Analytika je Trendy kapacity. Zde můžeme získat všechny podrobnosti potřebné k monitorování a správě využití kapacity clusteru v průběhu času. Dvě hlavní oblasti jsou Historie kapacity a Změna kapacity. Tyto kapacity zahrnují metadata, data a snímky (vyloučeny pouze v sekci Změna kapacity). Historii a změny kapacity lze rychle filtrovat podle časových rámců posledních 72 hodin, posledních 30 dnů nebo posledních 52 týdnů. Jedná se o skvělé možnosti, které pomáhají správcům úložišť vizualizovat a spravovat cluster pro škálování a prozkoumávat významné události změny kapacity.
Další sekcí, kterou jsme prozkoumali na kartě Analytika, je Aktivita, kde najdeme aktivní body propustnosti, aktivní body IOPS, klienty a cesty. Stránka Aktivní body IOPS nám umožňuje identifikovat aktivní body vstupu/výstupu za sekundu v našem úložném systému. Graf zobrazuje nejaktivnější adresáře z hlediska operací čtení/zápisu souborů a metadat. Úroveň detailů těchto dat lze upravit pomocí posuvníku v pravém horním rohu grafu. K dispozici je také skvělá možnost pozastavit zobrazení pomocí přepínače Automatické obnovení.
Můžeme také sledovat aktivitu podle klienta. Analytika nám umožňuje vidět, kteří klienti jsou nejaktivnější z hlediska propustnosti a IOPS.
A také monitorujeme aktivitu v cloudu podle Path.
Další záložkou v hlavní nabídce je Sdílení a zde první stránkou, kterou analyzujeme, jsou Kvóty. Qumulo umožňuje kvóty kapacity v reálném čase, což umožňuje administrátorům určit, kolik kapacity může daný adresář použít pro soubory. Na této stránce můžeme kvóty vytvářet, upravovat nebo mazat.
Další dvě stránky jsou NFS Exporty a SMB Sdílení, které umožňují klientům sdílet data uložená v určitém adresáři. Například v sekci NFS Exporty můžeme vytvářet nové exporty a také je upravovat a mazat.
Další v hlavní nabídce je Klastr. V nabídce Klastr najdeme různé konfigurace a možnosti týkající se klastru a systému obecně. Na první stránce, Přehled, máme důležité informace o kapacitě našeho klastru a jeho uzlů.
Kliknutím na jeden z uzlů se můžeme dostat k detailnějším informacím o hardwaru. Například kliknutím na uzel „sr-qumulo-1“ zobrazíme relevantní informace o síti a stavu disků.
V nabídce Cluster (Cluster) najdeme také důležité funkce úložiště, jako jsou snímky a replikace. A další možnosti, včetně konfigurace sítě, přejmenování clusteru, přidání nového hostitele do clusteru a dalších. Také nastavení protokolů FTP a SMB. V této nabídce můžeme nakonec spravovat ověřování a autorizaci. Obrázek níže ukazuje jako příklad stránku Místní uživatelé a skupiny.
Z karty API a nástroje se můžeme přímo v uživatelském rozhraní dostat na stránku Qumulo Core. Zde si můžeme stáhnout wrappery klientských knihoven Pythonu a CLI pro REST API Qumulo Core.
Poslední záložka v nabídce je Podpora a první stránka, kterou jsme zde našli, je Qumulo Care, cloudová monitorovací služba, kterou můžeme povolit k odesílání dat do Qumulo. Tým Qumulo tak může lépe řešit problémy a urychlit řešení jakýchkoli problémů souvisejících s clusterem.
Nakonec v nabídce máme stránku Aktualizace softwaru.
Závěr
Pro inovace se organizace spoléhají na platformy s nestrukturovanými daty a datově řízená úložiště, která dostupná řešení nedostatečně obsluhují. V této recenzi jsme se zabývali souborovým systémem Qumulo, který byl vyvinut tak, aby nabízel nestrukturovaná data ve všech prostředích. Qumulo patří mezi průkopníky v oblasti datově řízených úložišť a cloudových souborových datových služeb díky svému unikátnímu softwarově definovanému řešení pro hybridní cloud.
V poslední části tohoto článku jsme se podívali na webové uživatelské rozhraní Qumulo. V minulosti jsme se zabývali grafickými uživatelskými rozhraními (GUI) některých z nejoblíbenějších serverů a úložných zařízení a tentokrát jsme se s nadšením seznámili s novým GUI Qumulo. Na první pohled si všimneme elegantního designu tohoto GUI, vynikajícího uživatelského prostředí a toho, jak snadno se s ním administrátor zvládá každodenní operace.
Celkově vzato, software Qumulo poskytuje svým zákazníkům výjimečnou sadu funkcí, nástrojů pro monitorování a plánování. Software zjednodušuje cestu do cloudu. Podporuje přesun dat s migrací do cloudu typu „lift-and-shift“ a zároveň poskytuje výkonné analýzy v reálném čase pro detekci a okamžitý přehled o tom, co se s našimi cennými daty děje.
Amazon