HyperStore od společnosti Cloudian je softwarově definovaná úložná platforma postavená na nativní podpoře rozhraní Amazon S3 API s integrací s několika dalšími cloudovými úložnými API. Cloudian nabízí HyperStore ve formě úložných zařízení a softwarového řešení HyperStore Operating Environment pro běžný hardware. Úzká cloudová integrace HyperStore podtrhuje vrstvení, zálohování, replikaci, chladné úložiště a další funkce platformy. To také umožňuje Cloudianu podporovat řadu možností nasazení, které mohou využít kombinaci lokálního, vzdáleného a cloudového úložiště.
Architektura škálovatelného řešení HyperStore distribuuje veškerá data, metadata, konfigurace a operace v rámci clusteru a podporuje nasazení napříč více datovými centry. HyperStore využívá streamování objektů a dynamické automatické vrstvení k přesunu dat mezi místním cloudem a vzdálenými cloudovými úložnými službami v škálování až tisíců serverů a stovek petabajtů dat ve více datových centrech.
HyperStore implementuje 51 operací potřebných ke splnění standardu pro „pokročilou“ kompatibilitu s Amazon S3, což umožňuje vývojářům a administrátorům nasazovat úložiště, které nativně funguje s Amazon S3 SDK. HyperStore byl také vyvinut od základů s podporou pro nasazení s více klienty a požadovanými funkcemi QoS, fakturace a reportingu, které prodejci a poskytovatelé služeb potřebují k tomu, aby mohli platformu nasadit v prostředích spravovaných poskytovatelů služeb. Uživatelé mohou také spouštět analytiku Hadoop přímo na softwaru a zařízeních HyperStore.
Jedním z případů použití pro nasazení HyperStore je využití zálohovacích funkcí CloudBerry. Spravované zálohování CloudBerry lze spouštět ze serverů Amazon EC2 s integrací úložiště HyperStore s Amazon S3, Amazon Glacier, Google Nearline, Windows Azure, OpenStack a dalšími poskytovateli cloudových úložišť. Poskytovatelé služeb používající HyperStore s řešením spravovaného zálohování CloudBerry mohou také poskytovat webový přístup uživatelům nebo zákazníkům k datům uloženým v instanci HyperStore.
Společnost Cloudian nedávno vydala Hyperstore Connect for Files. Tato nová funkce umožňuje nativní podporu pro SMB, NFS a FTP. Tato podpora znamená, že úložiště založené na souborech je nyní v rámci Cloudian HyperStore plug-and-play. Hyperstore Connect for Files běží na jednom globálním nasazení objektového úložiště HyperStore, což snižuje náklady a složitost správy, a má dva moduly: Access Point je navržen jako bezstavový a funguje jako server, ke kterému se klienti připojují za účelem převodu souborů na objekty; a Global View Manager poskytuje globální jmenný prostor a globální uzamykání souborů pro distribuovanou spolupráci napříč lokalitami.
Abychom připravili tento přehled platformy HyperStore, pracovali jsme s HyperStore ve formě softwarového zařízení a také s malou vlastní konfigurací v naší laboratoři. Softwarové zařízení lze použít k vytvoření instance HyperStore po jeho nasazení na minimálně tři serverové uzly RedHat nebo CentOS. Mezi aktuální hardwarové nabídky Cloudian patří racková zařízení HyperStore FL3000 s osmi úložnými uzly v 3U. Každou rozšiřující jednotku 4U lze nasadit až s 480 TB. Katalogová cena Cloudianu za nasazení 12U zařízení HyperStore s 576 TB a pětiletou podporou je 324 000 USD.
Specifikace a možnosti hardwaru Cloudian HyperStore
- Šasi µNode HyperStore FL3000
- Funkce: Poskytování dat
- Tvarový faktor: 3U
- Disky: 16xSSD (2 na µNode)
- Moduly: 8xµNode
- Konektivita: 16x 10G SFP+, 8x 1Gbe IPMI
- Rozměry (DxŠxV): 589 mm x 438.4 mm x 132.5 mm (109,4 cm x 23.2 cm x 17.26 cm x 45.21 cm)
- Hmotnost: 88 liber (39.92 kg)
- Velikost disku: 480GB SSD MLC
- Napájecí zdroj: (2) výstup 1620 W při 180–240 V, 10.5–8 A, 50–60 Hz
- Chlazení: 4x 8cm 11K RPM, 4pinové PWM ventilátory
- RohS: V souladu s
- Diskové zóny: 1 zóna na uzel
- Rozšiřující police HyperStore
- Funkce: Ukládání dat
- Tvarový faktor: 4U
- Disky: 60xHDD
- Moduly: (2) za provozu vyměnitelné moduly rozhraní SAS (SIM) a (4) za provozu vyměnitelné interní moduly rozhraní SAS (ISIM)
- Připojení: 2×4portové 6Gb/s mini-SAS porty
- Rozměry (DxŠxV): 1103.1 mm x 447 mm x 175.3 mm (109,4 cm x 43.43 cm x 17.60 cm x 6.90 cm)
- Hmotnost: 85 kg s pevnými disky
- Velikost disku: 2, 4, 6, 8 TB SATA 7200 ot./min
- Napájení: (2) vysoce účinné redundantní zdroje 1400 W, 200–240 V AC, 50/60 Hz
- Chlazení: (7+1) redundantní moduly ventilátorů rotorů na systém
- RohS: V souladu s
- Diskové zóny: 2 nebo 4 zóny na polici
- HyperStore FL3020 µNode
- Datové disky na uzel: 15
- Podporované typy disků: 2, 4, 5, 6 TB
- Maximální kapacita/uzel: 30 TB, 60 TB, 75 TB, 90 TB
- Typ CPU: Intel E5-2640 V2.2GHz, 8 jader
- Paměť: 64GB
- Připojení: 2x 10Gbe SFP+ port, 1x 1Gbe IPMI LAN port
- Disky s operačním systémem Hyperstore: 2x 480GB SSD
- Připojení disku: 2x6bps SAS porty
- KVM: porty 1x VGA, 1x COM a 2x USB 2.0 (s KVM donglem)
- Přepínač: Napájení
- HyperStore FL3050 µNode
- Datové disky na uzel: 30
- Podporované typy disků: 2, 4, 5, 6 TB
- Maximální kapacita/uzel: 60 TB, 120 TB, 150 TB, 180 TB
- Typ CPU: Intel E5-2640 V2.2GHz, 8 jader
- Paměť: 128GB
- Připojení: 2x 10Gbe SFP+ port, 1x 1Gbe IPMI LAN port
- Disky s operačním systémem Hyperstore: 2x 480GB SSD
- Připojení disku: 2x6bps SAS porty
- KVM: porty 1x VGA, 1x COM a 2x USB 2.0 (s KVM donglem)
- Přepínač: Napájení
Operační systém a prostředí
HyperStore využívá webovou administraci pro monitorování systémů a clusterů a správu dat a také pro poskytování rozhraní pro správu uživatelů, skupin, tarifních plánů, kontrol kvality služeb (QoS) a fakturace. Pro integraci s dalšími systémy pro zřizování, ověřování a fakturaci jsou k dispozici možnosti REST-ful API.
Systém správy přístupu HyperStore poskytuje pracovní postupy pro identitu a zabezpečení pro uživatele a administrátory, včetně správy fakturace a zásad pro vrácení plateb pro poskytovatele služeb. Podporuje více přihlašovacích údajů na uživatele spolu s konfigurovatelnými kvótami QoS pro úložiště a šířku pásma v cloudech s více klienty, a to na úrovni skupin a uživatelů.
Nasazení HyperStore využívají až tři distribuované souborové systémy: Cassandra Files System (CASSANRDA), HyperStore File System (HFS) a Erasure Code (EC). CASSANDRA se používá pro indexy metadat a také k optimalizaci ukládání malých souborů. HyperStore File System je vrstva úložiště dat. Pro ukládání objektů může používat buď replikační, nebo erasure coding (EC). Můžete si zvolit metodu ukládání pro různé úložné fondy (nazývané Buckets). EC poskytuje vysokou odolnost a dostupnost dat s minimálními prostorovými režijními náklady (v některých nasazeních až 20 %). Nevýhodou je vyšší latence přístupu k objektům a vyžadující více zpracování. Pro velké úlohy zálohování a archivace se běžně používá erasure coding. Replikace se používá, když lidé potřebují rychlejší přístup, a také pro replikaci napříč regiony. K dispozici je automatický přechod založený na plánu (Cloudianův termín pro automatické vrstvení) z úložiště HyperStore do úložiště Amazon S3, úložiště Amazon Glacier, vzdáleného nasazení HyperStore nebo služby HyperStore třetí strany.
Šifrování na straně serveru HyperStore AES-256 chrání data v klidovém stavu pomocí SSL šifrování pro data přenášená přes HTTPS. Souborový systém HyperStore také obsahuje tři volitelná kompresní schémata: Snappy, LZ4 a Zlib. Snappy klade důraz na rychlost před kompresí s jmenovitou propustností komprese 250 MB/s nebo více a rychlostí dekomprese 500 MB/s nebo více. LZ4 má nižší kompresní poměr než Zlib s jmenovitou rychlostí komprese 400 MB/s na jádro. Zlib nabízí střední kompresní poměr a rychlost s vysokou rychlostí dekomprese.
Kromě vestavěných funkcí HyperStore mohou uživatelé HyperStore využívat několik aplikací dostupných z CloudBerry Labs od Cloudian. Nejvýznamnější z těchto nabídek jsou členové rodiny CloudBerry Backup, ale Cloudian nabízí také aplikace pro zjednodušenou správu souborů v cloudu, připojení cloudového úložiště jako síťových disků a CloudBerry Box, obousměrný nástroj podobný Dropboxu pro synchronizaci dat mezi vzdálenými počítači prostřednictvím cloudového úložiště.
CloudBerry Backup zahrnuje plánované a reálné zálohy, šifrování a kompresi, omezování šířky pásma a zálohování na úrovni bloků, stejně jako zálohování pro MS SQL server, MS Exchange, VMware a Hyper-V. Edice pro poskytovatele spravovaných služeb umožňuje sledovat historii záloh uživatelů z ovládacího panelu spravovaného zálohování a vytvářet účty subadministrátorů s omezenými oprávněními.
management
Po přihlášení jako administrátor se na hlavní obrazovce grafického uživatelského rozhraní zobrazí oblast v horní části. Pod touto oblastí je spravovaná kapacita – modrá, která představuje využité množství, a zelená, která představuje volné množství. Přímo pod spravovanou kapacitou se nachází stav clusteru (jak je vidět, aktuálně jsou aktivní upozornění). Napravo od nich jsou zobrazeny transakce za sekundu a propustnost měřená v KB/s (v obou grafech jsou příkazy PUT modře a příkazy GET zeleně). Ve spodní části obrazovky je zobrazen počet spravovaných uživatelů, skupin, objektů, uzlů a datových center spolu s verzí softwaru.
V horní části obrazovky se nacházejí karty jako hlavní obrazovka, analytika, segmenty a objekty, uživatelé a skupiny, cluster, upozornění, nastavení a nápověda. Pro nastavení uživatelů a skupin musí administrátoři kliknout na kartu Uživatelé a skupiny. Prostřednictvím této karty lze přidat novou skupinu a také pro každou skupinu nastavit specifickou kvalitu služeb (QoS).
Administrátoři mohou na této kartě také vytvářet tarifní plány. Tyto tarifní plány se vytvářejí pro účely fakturačních reportů. Administrátoři mohou také kontrolovat aktivitu účtu pro danou skupinu nebo uživatele.
Prostřednictvím karty Analytika si mohou administrátoři prohlédnout využití clusteru, například spotřebu kapacity regionu v čase v GB, počet transakcí objektů za sekundu a propustnost v KB/s. Průzkumník kapacity zobrazuje využití kapacity graficky. Opět z důvodů fakturace mohou administrátoři kontrolovat využití podle uživatele. A mohou vyhledávat konkrétní objekty.
Prostřednictvím karty Kontejnery a objekty mohou administrátoři nahrávat, vytvářet nebo vyhledávat kontejnery a objekty. Dostupné kontejnery jsou uvedeny na levé straně. Pod vyhledáváním je seznam objektů, jejich velikost a datum jejich poslední úpravy.
Karta Klastr nabízí administrátorům několik různých pohledů na jejich cluster. V rámci karty se nachází několik podkart pro datová centra, které zobrazují cluster podle regionu a stav clusteru – zelená je čirá, oranžová znamená upozornění (na obrázku níže každý šestiúhelník představuje uzel v rámci clusteru).
K dispozici je záložka Stav uzlů, která zobrazuje celkový stav a uvádí aspekty, jako je procento využitého místa na disku, procento využití CPU, podrobné informace o používaných discích, informace o využití paměti, stav služeb a seznamy událostí.
Karta Aktivita uzlu poskytuje administrátorům grafické znázornění konkrétního provozního aspektu uzlu. Uživatelé mají několik možností, včetně využití CPU (obrázek níže), dostupného disku, čtení z disku, zápisů na disk, propustnosti sítě (odchozí), propustnosti sítě (příchozí), transakcí (Get), transakcí (Put), propustnosti požadavků (Get), propustnosti požadavků (Put), průměrné latence požadavků (Get), průměrné latence požadavků (Put), využití haldy paměti pro administrátory, využití haldy paměti Cassandra, využití haldy paměti HyperStore a využití haldy paměti S3.
Rozšířená nastavení umožňují údržbu, deaktivaci disků, shromažďování diagnostických dat a odinstalaci uzlu.
Karta Konfigurace clusteru umožňuje administrátorům zobrazit informace o clusteru a také aktualizovat licenci, zobrazit a upravit nastavení konfigurace clusteru a nastavit automatické vrstvení. Pro automatické vrstvení se od zákazníků očekává, že mají jeden účet Amazon.
Karta Zásady úložiště umožňuje administrátorům nastavit zásady včetně EC2+1. Tato karta obsahuje distribuci dat pomocí myši a rozbalovací obrazovku pro výběr hodnoty kódování mazání K+M. Po jejich výběru mohou administrátoři přiřadit datové centrum podle regionu a datové centrum v rámci každého regionu. Jakmile jsou datová centra přiřazena, uživatelé mohou nastavit úrovně konzistence dat a metadat a také viditelnost skupin.
Pravidla pro oznámení umožňují odeslání e-mailu na konkrétní adresu pro konkrétní položky v uzlu. Administrátoři musí zadat e-mailovou adresu, na kterou chtějí dostávat oznámení, a poté vybrat, o které položce chtějí být informováni prostřednictvím daných pravidel. Pokud například chtějí být informováni, pokud cluster využívá CPU přes 90 %, mohou to nastavit na této kartě.
Poslední dílčí záložka v rámci záložky clusteru zobrazuje stav opravy a historii oprav.
Karta Upozornění zobrazuje, kdy došlo k problému nebo změně v systému. Upozornění lze třídit podle uzlu nebo regionu a vymazat jejich potvrzením.
Závěr
HyperStore je úložná platforma, která je příkladem příležitostí, které se nabízejí, a konvergence široce dostupného cloudového úložiště a otevřených API. Softwarové zařízení HyperStore umožňuje správcům nasadit plně kompatibilní cloudové úložiště objektů S3 napříč běžným serverovým hardwarem s možností bezproblémového škálování s přidáním nového běžného hardwaru nebo účelových hardwarových zařízení HyperStore.
Díky tomu, že HyperStore byl od základů vybudován pro interoperabilitu s dalšími cloudovými platformami Amazon S3, může Cloudian zákazníkům nabídnout řešení, která maximálně využívají cloudové poskytovatele třetích stran pro vrstvení, zálohování, replikaci a další funkce, aniž by museli spravovat dvě různá úložná prostředí s různými architekturami nebo paradigmaty správy. To také znamená, že administrátoři a uživatelé HyperStore mohou využívat nativní podporu HyperStore pro zavedený ekosystém aplikací S3.
Bottom Line
HyperStore přináší výkon a flexibilitu cloudového úložiště S3 na běžný hardware spolu s integrací API, aby se maximálně využilo externí cloudové úložiště od Amazonu, Googlu, Microsoftu a dalších.
Provozní prostředí Cloudian HyperStore
Amazon