HyperStore von Cloudian ist eine softwaredefinierte Speicherplattform, die auf nativer Unterstützung der Amazon S3-API basiert und mit mehreren anderen Cloud-Speicher-APIs integriert ist. Cloudian bietet HyperStore in Form von Speichergeräten und einer HyperStore Operating Environment-Softwarelösung für Standardhardware an. Die engen Cloud-Integrationen von HyperStore unterstreichen die Tiering-, Backup-, Replikations-, Cold-Storage- und andere Funktionalität der Plattform. Dadurch kann Cloudian auch eine Vielzahl von Bereitstellungsoptionen unterstützen, die eine Kombination aus lokalem, Remote- und Cloud-Speicher nutzen können.
HyperStore von Cloudian ist eine softwaredefinierte Speicherplattform, die auf nativer Unterstützung der Amazon S3-API basiert und mit mehreren anderen Cloud-Speicher-APIs integriert ist. Cloudian bietet HyperStore in Form von Speichergeräten und einer HyperStore Operating Environment-Softwarelösung für Standardhardware an. Die engen Cloud-Integrationen von HyperStore unterstreichen die Tiering-, Backup-, Replikations-, Cold-Storage- und andere Funktionalität der Plattform. Dadurch kann Cloudian auch eine Vielzahl von Bereitstellungsoptionen unterstützen, die eine Kombination aus lokalem, Remote- und Cloud-Speicher nutzen können.
Die Scale-Out-Architektur von HyperStore verteilt alle Daten, Metadaten, Konfigurationen und Vorgänge über den Cluster und unterstützt die Bereitstellung über mehrere Rechenzentren hinweg. HyperStore nutzt Objekt-Streaming und dynamische Auto-Tiering-Funktionen, um Daten zwischen der lokalen Cloud und Remote-Cloud-Speicherdiensten in Größenordnungen von bis zu Tausenden von Servern und Hunderten von Petabytes an Daten in mehreren Rechenzentren zu verschieben.
HyperStore implementiert die 51 Vorgänge, die erforderlich sind, um den Standard für „erweiterte“ Amazon S3-Kompatibilität zu erfüllen, der es Entwicklern und Administratoren ermöglicht, Speicher bereitzustellen, der nativ mit dem Amazon S3 SDK funktioniert. HyperStore wurde außerdem von Grund auf mit Unterstützung für Multi-Tenant-Bereitstellungen und den erforderlichen QoS-, Abrechnungs- und Berichtsfunktionen entwickelt, die erforderlich sind, damit Wiederverkäufer und Dienstanbieter die Plattform in Managed-Service-Provider-Umgebungen einsetzen können. Benutzer können Hadoop-Analysen auch direkt auf HyperStore-Software und -Appliances ausführen.
Einer der Anwendungsfälle für die Bereitstellung von HyperStore besteht darin, die Backup-Funktionalität von CloudBerry zu nutzen. CloudBerry Managed Backup kann von Amazon EC2-Servern mit HyperStore-Speicherintegration mit Amazon S3, Amazon Glacier, Google Nearline, Windows Azure, OpenStack und anderen Cloud-Speicheranbietern ausgeführt werden. Dienstanbieter, die HyperStore mit der Managed Backup-Lösung von CloudBerry verwenden, können Benutzern oder Kunden auch Webzugriff auf die in der HyperStore-Instanz gespeicherten Daten ermöglichen.
Cloudian hat erst kürzlich Hyperstore Connect für Dateien veröffentlicht. Diese neue Funktion ermöglicht native Unterstützung für SMB, NFS und FTP. Diese Unterstützung bedeutet, dass dateibasierter Speicher jetzt Plug-and-Play mit Cloudian HyperStore ist. Hyperstore Connect for Files läuft auf einer einzigen globalen HyperStore-Objektspeicherbereitstellung, wodurch Kosten und Verwaltungskomplexität reduziert werden, und besteht aus zwei Modulen: Access Point ist zustandslos konzipiert und fungiert als Server, mit dem Clients eine Verbindung herstellen, um Dateien in Objekte zu übersetzen; und Global View Manager bietet einen globalen Namespace und eine globale Dateisperre für die verteilte Zusammenarbeit über Standorte hinweg.
Um diesen Überblick über die HyperStore-Plattform zu erstellen, haben wir neben einer kleinen DIY-Konfiguration in unserem Labor auch mit HyperStore in seiner Software-Appliance-Form gearbeitet. Mit der Software-Appliance kann eine HyperStore-Instanz eingerichtet werden, sobald sie auf mindestens drei RedHat- oder CentOS-Serverknoten bereitgestellt wird. Zu den aktuellen Cloudian-Hardwareangeboten gehören HyperStore FL3000-Rack-Appliances mit acht Speicherknoten in 3U. Jede 4U-Erweiterungseinheit kann mit bis zu 480 TB bereitgestellt werden. Cloudian-Listenpreis für eine 12U-HyperStore-Appliance-Bereitstellung mit 576 TB und fünf Jahren Support bei 324,000 US-Dollar.
Cloudian HyperStore-Hardwarespezifikationen und -optionen
- HyperStore FL3000 µNode-Chassis
- Funktion: Datenbereitstellung
- Formfaktor: 3U
- Laufwerke: 16xSSDs (2 pro µNode)
- Module: 8xµNode
- Konnektivität: 16x10G SFP+, 8x1Gbe IPMI
- Abmessungen (LxBxH): 589 mm x 438.4 mm x 132.5 mm 23.2 Zoll x 17.26 Zoll x 45.21 Zoll
- Gewicht: 88 kg
- Laufwerksgröße: 480 GB SSD MLC
- Stromversorgung: (2) 1620 W Ausgang bei 180–240 V, 10.5–8 A, 50–60 Hz
- Kühlung: 4x 8 cm 11 U/min, 4-Pin-PWM-Lüfter
- RoHS-konform
- Festplattenzonen: 1 Zone pro Knoten
- HyperStore-Erweiterungsregal
- Funktion: Datenspeicherung
- Formfaktor: 4U
- Laufwerke: 60xHDDs
- Module: (2) Hot-Swap-fähige SAS-Schnittstellenmodule (SIM) und (4) Hot-Swap-fähige interne SAS-Schnittstellenmodule (ISIM)
- Konnektivität: 2×4-Port 6Gb/s Mini-SAS-Ports
- Abmessungen (LxBxH): 1103.1 mm x 447 mm x 175.3 mm 43.43 Zoll x 17.60 Zoll x 6.90 Zoll
- Gewicht: 187.39 lbs (85 kg) mit Festplatten
- Laufwerksgröße: 2, 4, 6, 8 TB SATA 7200 U/min
- Stromversorgung: (2) redundante 1400-W-Netzteile mit hohem Wirkungsgrad, 200–240 VAC, 50/60 Hz
- Kühlung: (7+1) Rotoren redundante Lüftermodule pro System
- RoHS-konform
- Festplattenzonen: 2 oder 4 Zonen pro Regal
- HyperStore FL3020 µNode
- Datenfestplatten pro Knoten: 15
- Unterstützte Laufwerkstypen: 2, 4, 5, 6 TB
- Maximale Kapazität/Knoten: 30 TB, 60 TB, 75 TB, 90 TB
- CPU-Typ: Intel E5-2640 V2.2 GHz, 8 Kerne
- Speicher: 64GB
- Konnektivität: 2x10Gbe SFP+Port, 1x1Gbe IPMI LAN Port
- Hyperstore-Betriebssystemfestplatten: 2 x 480 GB SSDs
- Festplattenkonnektivität: 2x6bps SAS-Ports
- KVM: 1xVGA-, 1xCOM- und 2xUSB 2.0-Anschlüsse (mit KVM-Dongle).
- Schalter: Leistung
- HyperStore FL3050 µNode
- Datenfestplatten pro Knoten: 30
- Unterstützte Laufwerkstypen: 2, 4, 5, 6 TB
- Maximale Kapazität/Knoten: 60 TB, 120 TB, 150 TB, 180 TB
- CPU-Typ: Intel E5-2640 V2.2 GHz, 8 Kerne
- Speicher: 128GB
- Konnektivität: 2x10Gbe SFP+ Port, 1x1Gbe IPMI Lan Port
- Hyperstore-Betriebssystemfestplatten: 2 x 480 GB SSDs
- Festplattenkonnektivität: 2x6bps SAS-Ports
- KVM: 1xVGA-, 1xCOM- und 2xUSB 2.0-Anschlüsse (mit KVM-Dongle).
- Schalter: Leistung
Betriebssystem und Umgebung
HyperStore nutzt die webbasierte Verwaltung zur System- und Clusterüberwachung und Datenverwaltung sowie zur Bereitstellung von Verwaltungsschnittstellen für Benutzer, Gruppen, Bewertungspläne, Qualitätskontrollen und Abrechnung. Für die Integration mit anderen Bereitstellungs-, Authentifizierungs- und Abrechnungssystemen stehen REST-ful-API-Optionen zur Verfügung.
Das Zugriffsverwaltungssystem von HyperStore bietet Identitäts- und Sicherheitsworkflows für Benutzer und Administratoren, einschließlich der Verwaltung von Abrechnungs- und Rückbuchungsrichtlinien für Dienstanbieter. Es werden mehrere Anmeldeinformationen pro Benutzer sowie konfigurierbare gruppen- und benutzerbasierte QoS-Kontingente für Speicher und Bandbreite in mandantenfähigen Clouds unterstützt.
HyperStore-Bereitstellungen nutzen bis zu drei verteilte Dateisysteme: das Cassandra Files System (CASSANRDA), das HyperStore File System (HFS) und Erasure Code (EC). CASSANDRA wird für Metadatenindizes und auch zur Optimierung der Speicherung kleiner Dateien verwendet. Das HyperStore-Dateisystem ist die Datenspeicherschicht. Es kann entweder Replikation oder Erasure Coding (EC) zum Speichern von Objekten verwenden. Sie können die Speichermethode für verschiedene Speicherpools (sogenannte Buckets) auswählen. Mit EC bietet es eine hohe Datenstabilität und -verfügbarkeit bei minimalem Speicherplatz-Overhead (in einigen Bereitstellungen nur 20 % Overhead). Der Nachteil besteht darin, dass die Latenz beim Zugriff auf Objekte höher ist und mehr Verarbeitung erforderlich ist. Bei großen Sicherungs- und Archivierungslasten wird häufig Erasure Coding verwendet. Die Replikation wird verwendet, wenn Personen einen schnelleren Zugriff benötigen, und auch für die regionsübergreifende Replikation. Der zeitplanbasierte automatische Übergang (Cloudians Begriff für Auto-Tiering) ist von HyperStore-Speicher zu Amazon S3-Speicher, Amazon Glacier-Speicher, einer Remote-HyperStore-Bereitstellung oder einem HyperStore-Dienst eines Drittanbieters verfügbar.
Die serverseitige HyperStore AES-256-Verschlüsselung schützt ruhende Daten mit SSL-Verschlüsselung für Daten während der Übertragung über HTTPS. Das HyperStore-Dateisystem umfasst außerdem drei optionale Komprimierungsschemata: snappy, lz4 und zlib. Snappy legt Wert auf Geschwindigkeit gegenüber Komprimierung, mit einem Nennkomprimierungsdurchsatz von 250 MB/s oder mehr und einer Dekomprimierungsrate von 500 MB/s oder mehr. lz4 verfügt über eine niedrigere Komprimierungsrate als zlib mit einer Nennkomprimierungsgeschwindigkeit von 400 MB/s pro Kern. zlib bietet ein mittleres Komprimierungsverhältnis und eine mittlere Geschwindigkeit bei hoher Dekomprimierungsrate.
Zusätzlich zu den integrierten Funktionen von HyperStore können HyperStore-Benutzer mehrere Anwendungen nutzen, die in den CloudBerry Labs von Cloudian verfügbar sind. Die bemerkenswertesten dieser Angebote sind die Mitglieder der CloudBerry Backup-Familie, aber Cloudian bietet auch Anwendungen für eine vereinfachte Cloud-basierte Dateiverwaltung, die Bereitstellung von Cloud-Speicher als Netzwerklaufwerke und CloudBerry Box, ein bidirektionales Dropbox-ähnliches Tool zum Synchronisieren von Daten über ein Cloud-Speicherkonto auf Remote-Computern übertragen.
CloudBerry Backup umfasst geplante und Echtzeit-Backups, Verschlüsselung und Komprimierung, Bandbreitendrosselung und Block-Level-Backup sowie Backups für MS SQL Server, MS Exchange, VMware und Hyper-V. Eine Edition für Managed Service Provider kann den Benutzer-Backup-Verlauf über ein Managed Backup-Kontrollfeld überwachen und Subadministratorkonten mit eingeschränkten Berechtigungen erstellen.
Management
Als Administrator angemeldet, zeigt uns der Hauptbildschirm der GUI den Bereich ganz oben. Unterhalb der Region wird die verwaltete Kapazität angezeigt, wobei Blau die genutzte Menge und Grün die freie Menge darstellt. Direkt unter der verwalteten Kapazität befindet sich der Clusterzustand (wie man sehen kann, sind derzeit Warnungen aktiv). Rechts davon sind die Transaktionen pro Sekunde und der Durchsatz, gemessen in KB/s (in beiden Diagrammen sind PUTs blau, während GETs grün sind). Am unteren Bildschirmrand wird die Anzahl der verwalteten Benutzer, Gruppen, Objekte, Knoten und Rechenzentren sowie die Softwareversion angezeigt.
Am oberen Bildschirmrand befinden sich Registerkarten wie der Hauptbildschirm, Analysen, Buckets und Objekte, Benutzer und Gruppen, Cluster, Warnungen, Einstellungen und Hilfe. Um Benutzer und Gruppen einzurichten, müssen Administratoren auf die Registerkarte Benutzer und Gruppen klicken. Über diese Registerkarte kann eine neue Gruppe sowie eine spezifische QoS für jede Gruppe hinzugefügt werden.
Administratoren können auf dieser Registerkarte auch Bewertungspläne erstellen. Die Ratingpläne werden zum Zweck der Abrechnungsberichte erstellt. Administratoren können auch die Kontoaktivität für eine bestimmte Gruppe oder einen bestimmten Benutzer überprüfen.
Über die Registerkarte „Analyse“ können Administratoren die Cluster-Nutzung einsehen und dabei Dinge wie den regionalen Kapazitätsverbrauch im Zeitverlauf in GB, Objekttransaktionen pro Sekunde und den Durchsatz in KB/s betrachten. Der Kapazitäts-Explorer zeigt die Kapazitätsnutzung durch eine grafische Darstellung an. Auch hier können Administratoren aus Abrechnungsgründen die Nutzung pro Benutzer überprüfen. Und sie können nach bestimmten Objekten suchen.
Über die Registerkarte „Buckets & Objekte“ können Administratoren Buckets und Objekte hochladen, erstellen oder danach suchen. Die verfügbaren Buckets werden auf der linken Seite aufgelistet. Unterhalb der Suche finden Sie eine Liste der Objekte, ihre Größe und den Zeitpunkt ihrer letzten Änderung.
Die Registerkarte „Cluster“ bietet Administratoren verschiedene Einblicke in ihren Cluster. Innerhalb der Registerkarte gibt es mehrere Unterregisterkarten für Rechenzentren, die Cluster nach Region und den Zustand des Clusters anzeigen – grün bedeutet klar, gelb bedeutet eine Warnung (im Bild unten stellt jedes Sechseck einen Knoten innerhalb des Clusters dar).
Es gibt eine Registerkarte „Knotenstatus“, die den Gesamtstatus anzeigt und Aspekte wie den Prozentsatz des verwendeten Festplattenspeichers, den Prozentsatz der CPU-Auslastung, detaillierte Informationen zu den verwendeten Festplatten, Informationen zur Speichernutzung sowie den Dienststatus und Ereignislisten angibt .
Die Registerkarte „Knotenaktivität“ bietet Administratoren eine grafische Darstellung eines bestimmten Betriebsaspekts des Knotens. Benutzer haben mehrere Optionen, darunter CPU-Auslastung (siehe Abbildung unten), verfügbare Festplatte, Lesevorgänge auf der Festplatte, Schreibvorgänge auf der Festplatte, Netzwerkdurchsatz (ausgehend), Netzwerkdurchsatz (eingehend), Transaktionen (Get), Transaktionen (Put, Anforderungsdurchsatz (Get), Anforderungsdurchsatz (Put), durchschnittliche Anforderungslatenz (Get), durchschnittliche Anforderungslatenz (Put), Admin-Speicher-Heap-Nutzung, Cassandra-Speicher-Heap-Nutzung, HyperStore-Speicher-Heap-Nutzung und S3-Speicher-Heap-Nutzung.
Die erweiterten Einstellungen ermöglichen die Wartung, das Deaktivieren von Festplatten, die Möglichkeit, Diagnosen zu sammeln und einen Knoten zu deinstallieren.
Auf der Registerkarte „Cluster-Konfiguration“ können Administratoren ihre Cluster-Informationen anzeigen, ihre Lizenz aktualisieren, ihre Cluster-Konfigurationseinstellungen anzeigen und bearbeiten sowie die automatische Befristung einrichten. Für die automatische Staffelung wird von Kunden erwartet, dass sie über ein einziges Amazon-Konto verfügen.
Auf der Registerkarte „Speicherrichtlinie“ können Administratoren die Richtlinie einschließlich EC2+1 einrichten. Diese Registerkarte verfügt über eine Point-and-Click-Datenverteilung und einen Dropdown-Bildschirm zur Auswahl des K+M-Werts für die Löschcodierung. Nachdem sie diese ausgewählt haben, können Administratoren das Rechenzentrum nach Region und Rechenzentrum innerhalb jeder Region zuweisen. Sobald die Rechenzentren zugewiesen sind, können Benutzer die Daten- und Metadatenkonsistenzebene sowie die Gruppensichtbarkeit festlegen.
Benachrichtigungsregeln ermöglichen das Senden einer E-Mail an eine bestimmte Adresse für bestimmte Elemente im Knoten. Administratoren müssen die E-Mail-Adresse angeben, unter der sie die Benachrichtigung erhalten möchten, und dann auswählen, über welches Element sie gemäß den angegebenen Regeln benachrichtigt werden möchten. Wenn sie beispielsweise benachrichtigt werden möchten, wenn der Cluster mehr als 90 % der CPU-Auslastung nutzt, können sie dies über diese Registerkarte einrichten.
Auf der letzten Unterregisterkarte innerhalb der Cluster-Registerkarte werden der Reparaturstatus und der Reparaturverlauf angezeigt.
Auf der Registerkarte „Warnungen“ wird angezeigt, wenn im System ein Problem oder eine Änderung aufgetreten ist. Warnungen können nach Knoten oder Region sortiert und durch Bestätigung gelöscht werden.
Fazit
HyperStore ist eine Speicherplattform, die die möglichen Möglichkeiten und die Konvergenz von allgemein verfügbarem Cloud-Speicher und offenen APIs veranschaulicht. Die HyperStore-Software-Appliance ermöglicht Administratoren die Bereitstellung einer vollständig kompatiblen S3-Objektspeicher-Cloud auf handelsüblicher Serverhardware mit der Option einer nahtlosen Skalierung durch Hinzufügen neuer handelsüblicher Hardware oder speziell entwickelter HyperStore-Hardware-Appliances.
Durch den Aufbau von HyperStore von Grund auf für die Interoperabilität mit anderen Cloud-Plattformen von Amazon S3 kann Cloudian seinen Kunden Lösungen anbieten, die Cloud-Anbieter von Drittanbietern für Tiering, Backup, Replikation und andere Funktionen optimal nutzen, ohne zwei verschiedene Speicherumgebungen mit unterschiedlichen verwalten zu müssen Architekturen oder Managementparadigmen. Dies bedeutet auch, dass HyperStore-Administratoren und -Benutzer die native Unterstützung von HyperStore für das etablierte Ökosystem von S3-Anwendungen nutzen können.
Fazit
HyperStore bringt die Leistung und Flexibilität von On-Premise-S3-Cloud-Speicher auf Standardhardware zusammen mit API-Integrationen, um das Beste aus Offsite-Cloud-Speicher von Amazon, Google, Microsoft und anderen herauszuholen.
Cloudian HyperStore-Betriebsumgebung
Cloudian HyperStore-Hardware-Appliances
Besprechen Sie diese Rezension
Melden Sie sich für den StorageReview-Newsletter an
