Das rasante Wachstum des Edge Computing hat zu einem beispiellosen Anstieg der Datengenerierung und -erfassung geführt. Temporäre Installationen wie wissenschaftliche Forschungsstationen, Überwachungssysteme und Industrieanlagen erfordern für einen reibungslosen Betrieb häufig eine schnelle Datenerfassung und -übertragung. Allerdings können die hohen Hardwarekosten in Verbindung mit der Notwendigkeit einer zuverlässigen und effizienten Datenspeicherung diese Projekte vor erhebliche Herausforderungen stellen. Amazon AWS Storage Optimized Snowball stellt in Kombination mit benutzerdefinierten virtuellen Maschinen eine bahnbrechende Lösung für dieses Problem dar.

EC2 AWS Snowball Edge Storage Optimiertes Forst-Rig

AWS Snowball Edge ist in zwei Kerngerätetypen verfügbar. Snowball Edge Compute Optimized mit mehr Rechenleistung (vCPUs, DRAM) und GPU-Funktionen, geeignet für Workloads mit höherer Leistung, und Snowball Edge Storage Optimized mit mehr Speicher, das für umfangreiche Datenmigrationen und kapazitätsorientierte Workloads geeignet ist. Unsere anfänglichen Anforderungen bei der Bestellung von Snowballs waren, dass sie perfekt zur Snowball Edge Storage Optimized-Lösung passten.

Während wir die Verwendung von Snowball zum Bewegen unserer erkunden 100 Billionen Pi-Berechnung in die Cloud, am Ende haben wir etwas zu viel bestellt. Wir haben zwei 80-TB-Snowballs bestellt, die für die Datenmigration optimiert sind, und brauchten nur einen. Beim zweiten wollten wir also sehen, ob wir eine EC2-Instanz in einer Remote-Umgebung betriebsbereit machen können. Während dies eine einfache Einrichtungsoption wäre, wenn Sie den Snowball vor dem Versand konfigurieren, damit der Kunde ein einsatzbereites Gerät mit EC2 erhält, ist es etwas schwieriger, wenn auch nicht unmöglich, die Konfiguration vor Ort nachträglich vorzunehmen.

Achtung: In diesem Artikel erfahren Sie alles über die Konfiguration einer VM und deren Querladen auf die Snowball-Appliance. Wenn Sie zu diesem Abschnitt springen möchten, klicken Sie hier.

Hintergrund und Überblick über Amazon AWS Storage Optimized Snowball

Amazon AWS Storage Optimized Snowball ist eine robuste, tragbare und sichere Datenübertragungslösung, die den Prozess der Übertragung großer Datenmengen in und aus der AWS Cloud vereinfacht und beschleunigt. Dieses speziell entwickelte Gerät wurde speziell für Anwendungsfälle entwickelt, die schnelle Datenübertragungen und kurzfristige Edge-Speicherung erfordern, und eignet sich daher ideal für temporäre Installationen oder Standorte mit begrenzter oder keiner Netzwerkkonnektivität.

EC2 AWS Snowball Edge Storage Optimierter Parkplatz

Ausgestattet mit erweiterten Speicherfunktionen, Verschlüsselung und manipulationssicheren Funktionen gewährleistet der Storage Optimized Snowball eine sichere und effiziente Datenmigration und reduziert gleichzeitig die Datenübertragungskosten im Vergleich zu herkömmlichen Methoden erheblich. Durch den Einsatz dieser innovativen Appliance können Unternehmen die Herausforderungen der Datenerfassung und -speicherung in Edge-Umgebungen meistern und so den Weg für eine nahtlose Datenintegration und -analyse in der Cloud ebnen.

Storage Optimized Snowball verfügt über mehrere Schlüsselfunktionen, die es zu einer leistungsstarken Lösung für die Datenübertragung und -speicherung machen:

Speicher mit hoher Kapazität: Mit Speicherkapazitäten von bis zu 80 TB kann Storage Optimized Snowball problemlos umfangreiche Datenmigrationsaufgaben bewältigen und so verschiedene Anwendungsfälle und datenintensive Anwendungen abdecken.
Schnelle Datenübertragung: Ausgestattet mit Hochgeschwindigkeitsnetzwerkverbindungen mit 40 Gbit/s ermöglicht Snowball schnelle und effiziente Datenübertragungen und reduziert so den Zeitaufwand für die Datenmigration.
Datensicherheit: Snowball verwendet branchenübliche Verschlüsselungsprotokolle (z. B. 256-Bit-AES), um Daten sowohl während der Übertragung als auch im Ruhezustand zu schützen und so die Vertraulichkeit und Integrität Ihrer Daten während des gesamten Migrationsprozesses sicherzustellen.
Robustes Design: Der Storage Optimized Snowball wurde für raue Umgebungen entwickelt und verfügt über ein robustes und wetterbeständiges Design, sodass er für den Einsatz unter verschiedensten Bedingungen und temporären Installationen geeignet ist.
Edge-Computing-Funktionen: Die integrierten Rechenfunktionen von Snowball ermöglichen es Benutzern, Edge-Computing-Workloads auszuführen und Daten direkt auf dem Gerät zu verarbeiten, wodurch die Latenz reduziert und Echtzeitanalysen ermöglicht werden.
AWS Greengrass-Integration: Snowball ist mit AWS Greengrass vorinstalliert und ermöglicht eine nahtlose Integration mit AWS Lambda und anderen AWS-Diensten sowie Edge-Processing und -Analysen.
Einfache Bereitstellung und Verwaltung: Mit seiner intuitiven und benutzerfreundlichen Oberfläche vereinfacht Storage Optimized Snowball den Prozess der Geräteeinrichtung, Datenübertragung und -verfolgung und rationalisiert Datenmigrationsaufgaben für Unternehmen jeder Größe.

Amazon AWS Storage Optimized Snowball bietet erhebliche Kosteneinsparungen und Effizienzvorteile im Vergleich zu herkömmlichen Datenübertragungsmethoden. Durch die Nutzung der leistungsstarken Speicher- und schnellen Datenübertragungsfunktionen von Snowball können Unternehmen den Zeit- und Bandbreitenbedarf für die Datenmigration drastisch reduzieren, was zu erheblichen Zeit- und Ressourceneinsparungen führt.

Darüber hinaus machen Snowballs robustes Design und die Edge-Computing-Funktionen zusätzliche Hardware-Investitionen und Infrastruktur vor Ort überflüssig, wodurch die Kosten für temporäre Installationen oder Edge-Projekte weiter gesenkt werden. Darüber hinaus ermöglicht die nahtlose Integration mit AWS-Diensten eine optimierte Datenverwaltung und -analyse und steigert so die Gesamtproduktivität und betriebliche Effizienz.

Und wie bereits erwähnt, haben wir zwei der AWS Snowball Edge Storage Optimized-Geräte bestellt, aber Amazon bietet Snowballs an, die rechenintensiver sind und nicht den Sideloading-Prozess erfordern, den wir gleich besprechen werden. Wir hatten einfach ein „zusätzliches“ Gerät und wollten sehen, wie weit wir es aus seinem vorgesehenen Komfortfenster herausschieben können.

Querladen benutzerdefinierter virtueller Maschinen in speicheroptimiertes Snowball

Wir empfehlen Ihnen dringend, den Artikel durchzulesen der offizielle Amazon-Blog zu diesem Prozess; Unsere Schritte hier basieren auf unserer spezifischen Konfiguration und darauf, wie wir sie ausführen konnten.

Als AWS Snowball Edge im Jahr 2016 erstmals eingeführt wurde, mussten Benutzer, die Amazon Elastic Compute Cloud (Amazon EC2)-Instanzen auf dem Gerät ausführen wollten, während des Bestellvorgangs ein Amazon Machine Image (AMI) angeben. Das Gerät unterstützt dann den Start von Amazon EC2-Instanzen basierend auf dem ausgewählten AMI. Die Aktualisierung eines AMI oder der Wechsel zu einem anderen für neue Arbeitslasten, die Lösung von Problemen oder die Aktivierung neuer Funktionen erforderte jedoch die Rücksendung des Geräts an AWS zur AMI-Aktualisierung und das anschließende Warten auf den Rückversand.

Dieser Prozess wurde inzwischen optimiert. Einige der Schritte hier dienen nur als Referenz und können direkt aus dem Amazon-Beitrag übernommen werden, daher werden wir nicht die Details spezifizieren, sondern eher eine Checkliste bereitstellen.

Erstellen Sie auf Ihrer Workstation eine VM, die Sie in Snowball laden möchten.
1. Installieren Sie Ihren Hypervisor. Wir haben uns für die Verwendung von Oracle VirtualBox entschieden, wie von Amazon angegeben. Wir haben jedoch einen Windows-basierten Host verwendet, der einige geringfügige Unterschiede im Prozess aufweist.
2. Installieren Sie Ihr Gastbetriebssystem. Wir haben uns für Ubuntu 22.04 entschieden, weil es einfach zu bekommen und damit zu arbeiten war. Nach der Installation empfehlen wir, Updates durchzuführen und sicherzustellen, dass DHCP aktiviert ist, und jetzt mit dem Testen des SSH/RDP-Zugriffs zu beginnen.
  1. Beachten Sie bei der Auswahl einer Festplattengröße, dass diese in einem späteren Schritt in eine RAW-Festplattendatei konvertiert wird. Unabhängig davon, wie groß oder klein die Festplatte ist, die Sie auswählen müssen, müssen Sie den gesamten Speicherplatz auf das Snow-Gerät laden.
3. Suchen Sie die VDI-Datei der virtuellen Festplatte auf Ihrer Festplatte und kopieren Sie den Speicherort mit dem Dateinamen.
4. Navigieren Sie zum Installationsordner von VirtualBox. Bei uns war es „C:\Programme\Oracle\VirtualBox“. Rechtsklick, „Powershell-Fenster hier öffnen“ (andere Windows-spezifische Befehle finden Sie im Amazon-Artikel).
5. Verwenden Sie den Pfad Ihrer zuvor erstellten VDI-Datei und diesen Befehl als Referenz, um Ihre eigene Datei zu erstellen. (Windows-Version hier)
  1. .\VBoxManage.exe clonehd "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.vdi" "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.raw" --format raw
6. Laden Sie das .raw-Bild auf das Snow-Gerät.
7. Erstellen Sie IAM-Berechtigungen für den Image-Import, indem Sie eine IAM-Rolle und eine zugehörige Richtlinie für den VM-Import/Export-Prozess einrichten.
  1. Erstellen Sie eine IAM-Richtlinie, die dem lokalen VM-Import/Export-Dienst die erforderlichen Berechtigungen gewährt, um den Snapshot von Amazon S3 auf das Gerät herunterzuladen.
  2. Erstellen Sie nach dem Erstellen der Richtlinie eine IAM-Rolle mit einer Vertrauensrichtlinie, sodass Snowball VM Import/Export die Rolle übernehmen kann.
  3. Hängen Sie die zuvor erstellte Richtlinie an die IAM-Rolle an und ermöglichen Sie VM Import/Export den Zugriff auf das im S3-Bucket auf dem Gerät gespeicherte Image.
8. Bild als Schnappschuss importieren
  1. Navigieren Sie zurück zur Snowball-Dashboard-Seite und wählen Sie im Bereich „Computer starten“ die Option „Erste Schritte“.
  2. Wählen Sie „Schnappschüsse“ und dann „Schnappschuss importieren“, um mit dem Import des Rohbilds als Schnappschuss zu beginnen.
  3. Geben Sie auf der Seite „Snapshot importieren“ die erforderlichen Beschreibungen ein und geben Sie die zuvor erstellte IAM-Rolle an.
  4. Durchsuchen Sie S3, um die Rohbilddatei zu finden und auszuwählen, und senden Sie dann die Importanforderung.
  5. Der Snapshot-Import dauert je nach Bildgröße einige Minuten.
  6. Nach Abschluss wird als Status „Abgeschlossen“ angezeigt.
9. Registrieren Sie ein AMI aus dem Snapshot
  1. Um ein AMI aus dem Snapshot zu registrieren, wählen Sie die soeben erstellte Snapshot-ID aus und klicken Sie auf „Image registrieren“.
  2. Geben Sie einen Namen und eine Beschreibung für das AMI ein, behalten Sie das Root-Volume-Gerät als /dev/sda1 bei und senden Sie es ab.
  3. Der Snapshot wird nun als AMI registriert, sodass Sie EC2-Instanzen daraus starten können.
10. Starten Sie Ihre EC2-Instanz auf dem Snow-Gerät
  1. Um eine EC2-Instanz von Ihrem AMI aus zu starten, navigieren Sie zurück zur Snowball-Dashboard-Seite und wählen Sie „Instanzen“.
  2. Klicken Sie auf „Instanz starten“ und geben Sie Ihren AMI-Namen und den gewünschten Instanztyp ein.
  3. Für die Zuweisung einer öffentlichen IP-Adresse können Sie wählen, ob Sie eine neue erstellen (VNI), eine vorhandene verwenden oder überhaupt keine zuweisen möchten.
  4. Was das Schlüsselpaar betrifft, entscheiden Sie sich dafür, kein Schlüsselpaar anzuhängen, wenn Sie dem Image bereits erforderliche öffentliche Schlüssel hinzugefügt haben, oder entscheiden Sie sich dafür, ein vorhandenes Schlüsselpaar zu erstellen/zu verwenden.
  5. Klicken Sie auf „Starten“, um Ihre EC2-Instanz zu initialisieren.
  6. Sobald die EC2-Instanz betriebsbereit ist, greifen Sie auf die gleiche Weise wie auf jede andere EC2-Instanz in AWS zu.

Auch wenn der Prozess des Querladens benutzerdefinierter virtueller Maschinen in Geräte wie AWS Snowball Edge komplex und herausfordernd erscheinen mag, lohnt sich der Aufwand aufgrund der zahlreichen Vorteile, die er bietet. Es ist wichtig zu beachten, dass es zwar möglich ist, ein AMI nach der Bestellung des Geräts seitlich zu laden, wenn Sie sich jedoch für das Gerät mit bereits geladenem AMI entscheiden, erhalten Sie ein vorkonfiguriertes Gerät, das sofort einsatzbereit ist.

Die Verwendung benutzerdefinierter virtueller Maschinen für die Edge-Datenerfassung bietet mehrere wesentliche Vorteile. Durch die Anpassung können Unternehmen ihre virtuellen Maschinen an bestimmte Anwendungsfälle anpassen und so Leistung und Effizienz optimieren. Durch die Integration spezialisierter Anwendungen können Unternehmen die Datenverarbeitung und -analyse direkt am Edge optimieren, die Latenz reduzieren und die Entscheidungsfindung in Echtzeit verbessern.

Die erhöhte Flexibilität und Anpassungsfähigkeit, die diese seitlich geladenen benutzerdefinierten virtuellen Maschinen bieten, kann es Unternehmen ermöglichen, schnell auf sich ändernde Anforderungen oder unerwartete Änderungen ihrer Datenerfassungsanforderungen zu reagieren. Durch das Querladen benutzerdefinierter virtueller Maschinen in Edge-Geräte wie AWS Snowball Storage Optimized Edge können Unternehmen das volle Potenzial von Edge Computing nutzen und ihre Datenerfassungs- und -verarbeitungsanforderungen in verschiedenen Umgebungen effizient verwalten.

Implementierung einer schnellen Datenerfassung am Edge

Das Einrichten einer speicheroptimierten Snowball-Appliance für die Datenerfassung umfasst die Konfiguration des Geräts für die Bewältigung spezifischer Datenerfassungsaufgaben und -anforderungen. Durch die Nutzung der robusten Funktionen des Snowball Edge-Geräts können Unternehmen große Datenmengen in Umgebungen mit unterbrochener Konnektivität oder an entfernten Standorten sammeln und verarbeiten.

Der Blockspeicher des Geräts und der Amazon S3-kompatible Objektspeicher ermöglichen es Benutzern, große Datenmengen sicher zu speichern, zu verwalten und effizient zu übertragen. Durch die Anpassung von Snowball Edge an die Projektanforderungen können Unternehmen Datenerfassungsprozesse optimieren, um ihre individuellen Anforderungen und Ziele zu erfüllen.

Durch die Integration benutzerdefinierter virtueller Maschinen mit Datenerfassungstools wird der Datenerfassungsprozess am Edge weiter optimiert. Durch die Integration spezieller Anwendungen oder Frameworks können Unternehmen Daten direkt auf dem Snowball Edge-Gerät verarbeiten und analysieren, wodurch die Latenz reduziert und die Entscheidungsfindung in Echtzeit verbessert wird.

Diese Integration ermöglicht eine nahtlose Zusammenarbeit zwischen verschiedenen Datenerfassungstools und benutzerdefinierten virtuellen Maschinen und gewährleistet so eine effiziente Datenverarbeitung und -verwaltung. Darüber hinaus können Unternehmen durch die Optimierung der Datenübertragung und Synchronisierung mit Amazon S3 von der skalierbaren und sicheren Speicherung profitieren, die die Cloud-Infrastruktur von Amazon bietet.

Dieser Prozess erleichtert die nahtlose Übertragung der gesammelten Daten vom Snowball Edge-Gerät an Amazon S3 und stellt sicher, dass die Daten für weitere Analysen oder langfristige Speicherung sofort verfügbar sind. Dies wiederum fördert ein zuverlässiges und effizientes Datenmanagement-Ökosystem, das eine schnelle Datenerfassung und -verarbeitung am Netzwerkrand unterstützt.

Sneaker-Net-Vorteil

In vielen Szenarien kann Sneaker-net oder die physische Datenübertragung mit Geräten wie dem Storage Optimized Snowball schneller sein als die Datenübertragung über das Internet. Dies gilt insbesondere für Remote- oder temporäre Installationen mit begrenzter Bandbreite, hoher Latenz oder unzuverlässiger Konnektivität.

Beispiele hierfür sind Forschungsstationen an abgelegenen Standorten, temporäre Veranstaltungsorte oder sogar Notfallwiederherstellungsstandorte. Durch den Einsatz von AWS Snowball zum Transport großer Datenmengen können Unternehmen die Einschränkungen langsamer oder unzuverlässiger Internetverbindungen umgehen und sicherstellen, dass Daten zur weiteren Verarbeitung und Analyse schnell und sicher an Amazon S3 übertragen werden.

In S3 gespeicherte Daten profitieren von der inhärenten Skalierbarkeit und Flexibilität, die das AWS-Ökosystem bietet. Wenn das Datenvolumen wächst, können Unternehmen ihre Speicherkapazität problemlos an sich ändernde Anforderungen anpassen, ohne dass kostspielige Investitionen in die Infrastruktur erforderlich sind.

Darüber hinaus lässt sich S3 nahtlos in eine Vielzahl von AWS-Diensten wie Amazon Athena, Amazon Redshift und Amazon SageMaker integrieren und ermöglicht es Unternehmen, ihre Daten mithilfe leistungsstarker Analyse- und maschineller Lerntools zu analysieren, zu verarbeiten und daraus Erkenntnisse abzuleiten. Diese Integration versetzt Unternehmen letztendlich in die Lage, datengesteuerte Entscheidungen zu treffen und neue Möglichkeiten für Wachstum und Innovation zu erschließen.

Abschließende Gedanken

Amazon AWS Storage Optimized Snowball bietet in Kombination mit benutzerdefinierten virtuellen Maschinen eine leistungsstarke und kostengünstige Lösung für die schnelle Datenerfassung am Edge. Temporäre Installationen können jetzt große Datenmengen effizient erfassen und speichern und profitieren gleichzeitig von der Sicherheit, Skalierbarkeit und einfachen Integration, die S3 bietet. Durch diesen innovativen Ansatz können Unternehmen die Hardwarekosten erheblich senken, ihr Datenmanagement optimieren und neue Erkenntnisse aus ihren Daten gewinnen.

Obwohl unser Ansatz für diesen Prozess etwas rückständig war, sollten Sie die EC2-Instanzen idealerweise zum Zeitpunkt der Bestellung konfigurieren, um das Leben einfacher zu machen. Es ist jedoch schön zu wissen, dass AWS mit seinen Snowball-Appliances „kreative Flexibilität“ ermöglicht. Wenn die Arbeitslast jedoch rechenintensiv ist, bietet AWS Snowball Edge Compute Optimized mit bis zu 104 vCPUs, 416 GB DRAM und 28 TB Flash an. Und wenn Sie Analysebedarf haben, bieten sie sogar Snowballs mit GPUs an. Für die Edge-Datenerfassung bietet AWS eine Vielzahl von Optionen und ein Teil des Spaßes besteht darin, herauszufinden, welches Snow-Gerät das richtige für Sie sein könnte.

AWS Snow Podcast mit StorageReview und Wayne Duso

Beteiligen Sie sich an StorageReview

So fügen Sie einem speicheroptimierten AWS Snowball Edge-Gerät einen EC2-Boost hinzu

Hintergrund und Überblick über Amazon AWS Storage Optimized Snowball

Querladen benutzerdefinierter virtueller Maschinen in speicheroptimiertes Snowball

Implementierung einer schnellen Datenerfassung am Edge

Sneaker-Net-Vorteil

Abschließende Gedanken

Jordan Ranous

Apex Storage X21-Rezension: Die brüllenden Zwanziger

Test der Seagate FireCuda Lightsaber Collection SSD

VERTRAUENSWÜRDIGE LIEFERANTEN