Quantum Myriad™ je nová all-flashová, škálovatelná softwarová platforma pro ukládání souborů a objektů pro moderní podnikové úlohy. Cloudově nativní architektura Myriad je snadno použitelné řešení navržené tak, aby překonalo omezení hardwarově orientovaných návrhů a umožnilo zákazníkům přizpůsobit se budoucím potřebám úložišť a zároveň snížit zátěž IT personálu.
Quantum Myriad je zcela nová nabídka společnosti, která se zařazuje po bok řady dalších úložných zařízení a archivačních řešení. Myriad se liší tím, že se jedná o architekturu bez sdílení, která je navržena pro nejnovější flash technologie a poskytuje konzistentní výkon s nízkou latencí v jakémkoli měřítku.
Přestože je Quantum zcela nový, uvádí se na trh s robustní sadou inline datových služeb, jako je deduplikace, komprese, snapshoty, klony a označování metadat, které jsou navrženy pro urychlení zpracování dat pomocí umělé inteligence/strojového učení. Z provozního hlediska se pro zajištění jednoduchosti cloudu používají známé a osvědčené cloudové technologie, jako jsou mikroslužby a Kubernetes. Quantum v konečném důsledku navrhl Myriad jako platformu pro bezdotykové úložiště, clustery a správu sítě, kterou lze snadno rozšiřovat, měnit a zmenšovat bez narušení provozu.
Brian Pawlowski, hlavní vývojový ředitel společnosti Quantum, uvedl:
„Abychom udrželi krok s růstem objemu dat, odvětví se na problém „zaměřilo hardwarem“. Integrací zpětné vazby od zákazníků, partnerů a analytiků z oboru o tom, co chybí v současných řešeních na trhu, jsme u Myriad zvolili zcela odlišný přístup a výsledkem je architektura, kterou jsem chtěl vybudovat 20 let. Myriad je neuvěřitelně jednoduchý a neuvěřitelně přizpůsobivý úložný software pro nepředvídatelnou budoucnost.“
Quantum Myriad Software
Myriad software běží na standardních úložných serverech x86, což IT týmům usnadňuje zavádění nejnovějšího hardwaru. To samozřejmě zahrnuje nejnovější formáty úložišť, technologie NAND a rozhraní pro budoucí potřeby spolu s novými možnostmi I/O a potenciálními akceleračními kartami v budoucnu.
Typicky pro většinu softwaru se Myriad skládá z mnoha komponent, které interagují a poskytují interní funkce a služby orientované na zákazníka, v tomto případě ukládání a načítání souborů a objektů. Softwarové komponenty a funkce jsou typické pro vrstvený model, který paralelně propojuje tok dat systémem. Quantum zobrazuje vrstvy jako odshora dolů klienty, datové služby, souborové systémy a úložiště transakčních klíčů/hodnot. Každá vrstva a komponenta je navržena tak, aby se snížila latence a maximalizoval paralelismus.
Při pohledu na každou komponentu jednotlivě je snadné vidět, že jejich paralelní spouštění dává smysl, protože přináší lepší výkon a funkčnost. Pojďme si to rozebrat a začít od vrcholu.
Mezi klientské komponenty patří proces serveru NFS, SMB, S3, proprietární služby a služby GPU-Direct. Klientské komponenty se propojují s instancí vlastního souborového systému Myriad. Lze definovat libovolný počet souborových systémů, každý s jednou nebo více přidruženými prezentačními vrstvami. Je možné mít definovaný jeden souborový systém s prezentacemi NFS i S3, což umožňuje přístup ke stejným datům, a to jak k souborům, tak k objektům. Bez omezení počtu souborových systémů je lze zřídit tak, aby splňovaly obchodní potřeby.
Vrstva datových služeb podporuje věci jako je trvalá inline deduplikace a komprese, snapshoty a klony. Vrstva souborového systému je plně distribuovaná a kompozibilní, takže na uživatele nebo aplikaci může existovat jeden souborový systém.
Transakční úložiště klíč-hodnota je centrálním úložištěm pro veškerá data a metadata. Je to srdce systému a je distribuováno mezi všechny úložné uzly v clusteru Myriad a lineárně podle toho, jak jsou do clusteru přidávány nové uzly. Úložiště klíč-hodnota ukládá data na NVMe SSD discích pomocí schématu unikátního dynamického mazání (EC), které se přizpůsobuje událostem v reálném čase, čímž se zachovává ochrana a maximalizuje efektivita.
Architektura clusteru Myriad
Myriad je navržen jako flexibilní, samoopravitelný a samovyvažovací software, který umožňuje upgrady za provozu, automatické obnovování a opravování dat na pozadí a zároveň vyvažování dat, zatímco se úložný cluster přizpůsobuje potřebám zákazníka. Díky inteligenci pro automatickou detekci, nasazení a konfiguraci úložných uzlů v clusteru, aby se cluster mohl škálovat, upravovat nebo zmenšovat bez zásahu, se IT administrátoři mohou soustředit na jiné důležité funkce.
Přestože je software Myriad navržen pro běh kdekoli, první verze je nabízena na platformě Quantum Iron. Architektura clusteru Myriad je znázorněna na obrázku níže.
Portál pro správu Myriad
Bezpečný online portál poskytuje v reálném čase monitorování stavu systému, výkonu a trendů kapacity prostřednictvím připojení k cloudovému softwaru Quantum AI Operations. Pro provoz clusteru Myriad není nutné vyhrazovat server pro správu. Myriad nabízí jednoduché zabezpečení dat a obnovu po ransomwaru díky vestavěným snapshotům, klonům, nástrojům pro obnovu snapshotů a možnostem vrácení zpět.
Myriad Hardware Specifikace
Společnost Quantum definovala hardwarové požadavky pro každou komponentu clusteru, aby bylo snadné vybrat si hardware dle libosti. Jak již bylo zmíněno, první verze bude nabízena na zařízeních poskytovaných společností Quantum. Hardwarové požadavky jsou jednoduché a neobsahují nic neobvyklého.
Specifikace úložného uzlu
Uzel úložiště je standardní server, který poskytuje výpočetní a úložné služby. V GA se cluster skládá z pěti až deseti úložných serverů. Zařízení o velikosti 1U běží na 64jádrovém procesoru s 512 GB RAM a podporou PCIe Gen4. Každý server v GA podporuje deset jednoportových disků TLC s kapacitou 15.36 TB. Síťové připojení je zajištěno prostřednictvím čtyř 100GbE portů a správa je zajištěna prostřednictvím jednoho 1GbE RJ-45. Zařízení Quantum je vybaveno duálním napájením a redundantními ventilátorovými sestavami.
Úložné uzly NVMe jsou jádrem clusteru, domovem SSD disků a provozují nespočet softwaru a služeb.
Specifikace uzlu Load Balancer
Jedná se o poměrně obecný přepínač, který propojuje cluster se zákaznickou sítí a vyrovnává příchozí provoz do clusteru a v rámci clusteru. Cluster vyžaduje dva 1U přepínače s 32 síťovými porty 100GbE a jedním portem pro správu 1GbE RJ-45. Přepínače od společnosti Quantum budou mít duální napájení a redundantní ventilátory.
Specifikace uzlu nasazení
Tento uzel nasazuje software a konfiguruje ostatní uzly v clusteru. Uzel nasazení se nenachází v datové cestě. Každý cluster vyžaduje jeden uzel nasazení. Tyto uzly jsou konfigurovány s 48 porty 1GbE, jedním portem pro správu 1GbE RJ-45 a stejně jako ostatní zařízení mají duální napájení a redundantní ventilátory.
Uzel nasazení je zodpovědný za nasazení a údržbu clusteru, včetně počáteční instalace, rozšíření kapacity a upgradu softwaru.
Myriad Networking
Uzly Myriad se připojují přes 100GbE, což je navrženo pro jednoduchost. Zákazník nemusí dělat mnoho kromě fyzického připojení k síti. Uzly Myriad se konfigurují automaticky a nevyžadují žádný další hardware ani interakci se zákazníkem. Myriad nabízí intuitivní grafické uživatelské rozhraní pro konfiguraci a ovládací funkce a je také podporováno monitorování SNMP a sFlow.
Uzly clusteru jsou propojeny prostřednictvím dvou sítí: bezztrátové sítě 100GbE s RDMA pro datový a správní provoz a sítě 1GbE pro úlohy nasazení. Při instalaci je možné zvolit, zda pro interní síť poskytnout nesměrovatelnou podsíť, nebo přijmout výchozí adresu 172.16/16. Interním rozhraním pro všechny uzly clusteru a pody Kubernetes jsou přiřazeny adresy z tohoto rozsahu. Všem novým uzlům přidaným do clusteru je automaticky přiřazena adresa z vybrané podsítě.
Uzly Load Balancer používají NAT k izolaci interní sítě clusteru od sítě datového centra. Uzly Load Balancer používají směrování Equal Cost MultiPath (ECMP) k rozložení příchozích připojení mezi uzly úložiště. Externí sítě Myriad používají směrovací protokol Border Gateway Protocol (BGP), což zjednodušuje připojení k externí síti. Zákaznické přepínače vyžadují, aby porty směřující k Myriad byly nakonfigurovány pro BGP bez čísla s ECMP.
Myriad v oblaku
Přestože je počáteční verze nabízena na specializovaných zařízeních, architektura je navržena pro nasazení Myriadu na veřejné cloudové infrastruktuře, jako je AWS. Cloudové nasazení pro Myriad může využívat základní cloudové platformové služby, ale software a celkový zážitek zůstanou stejné.
V případě cloudových nasazení bude software Myriad běžet v clusteru Kubernetes a používat cloudové služby Kubernetes, jako je AWS EKS. Funkce vyvažování zátěže Myriad bude využívat cloudové síťové a vyvažovací služby.
Dopad na trh
Myriad rozšiřuje portfolio řešení společnosti Quantum pro nestrukturovaná data. Je vhodný pro nově vznikající případy užití, které vyžadují vyšší výkon a škálovatelnost, včetně AI/ML, datových jezer, renderování vizuálních efektů a animací a dalších aplikací s vysokou šířkou pásma a vysokými IOP.
I když pravděpodobně existují desítky řešení zaměřených na tyto úlohy, v moderní době jich bylo vyvinuto od základů jen velmi málo. Pro Quantum by bylo jednodušší vzít jedno z jejich stávajících řešení, nanést novou vrstvu rtěnky, jako je rozhraní pro úložiště kontejnerů, a nazvat ho novým řešením. Quantum se však rozhodl podstoupit značné riziko a přijít na trh se zcela novým řešením, navrženým od základů. Quantum je s konečným výsledkem docela spokojený a zároveň uznává, že je třeba udělat ještě hodně práce, aby Myriad přinesl nové funkce, jakmile se zákazníci začnou s řešením seznámit a shromažďovat zpětnou vazbu.
Když už mluvíme o praktickém využití, brzy máme v úmyslu navštívit datové centrum Quantum se sadou Myriad, návštěvu jsme si již naplánovali. Pro ty, kteří se nemohou dočkat naší kompletní zprávy, Quantum Myriad je již nyní k dispozici pro zákazníky s předběžným přístupem a pro GA je plánováno ve třetím čtvrtletí tohoto roku.
Amazon