De snelle groei van edge computing heeft geleid tot een toename van het genereren en verzamelen van gegevens op ongekende niveaus. Tijdelijke installaties, zoals wetenschappelijke onderzoeksstations, bewakingssystemen en industriële faciliteiten, vereisen vaak een snelle verzameling en overdracht van gegevens voor een soepele werking. De hoge hardwarekosten, gekoppeld aan de behoefte aan betrouwbare en efficiënte gegevensopslag, kunnen echter aanzienlijke uitdagingen opleveren voor deze projecten. Amazon AWS Storage Optimized Snowball, gecombineerd met aangepaste virtuele machines, biedt een baanbrekende oplossing voor dit probleem.

De snelle groei van edge computing heeft geleid tot een toename van het genereren en verzamelen van gegevens op ongekende niveaus. Tijdelijke installaties, zoals wetenschappelijke onderzoeksstations, bewakingssystemen en industriële faciliteiten, vereisen vaak een snelle verzameling en overdracht van gegevens voor een soepele werking. De hoge hardwarekosten, gekoppeld aan de behoefte aan betrouwbare en efficiënte gegevensopslag, kunnen echter aanzienlijke uitdagingen opleveren voor deze projecten. Amazon AWS Storage Optimized Snowball, gecombineerd met aangepaste virtuele machines, biedt een baanbrekende oplossing voor dit probleem.

AWS Snowball Edge is beschikbaar in twee kernapparaattypes. Snowball Edge Compute Optimized, met meer rekenkracht (vCPU's, DRAM) en GPU-mogelijkheden, geschikt voor werklasten met hogere prestaties, en Snowball Edge Storage Optimized met meer opslag, wat geschikt is voor grootschalige datamigraties en capaciteitsgerichte werklasten. Onze aanvankelijke vereisten bij het bestellen van Snowballs pasten perfect bij de Snowball Edge Storage Optimized-oplossing.

Tijdens het verkennen van het gebruik van Snowball om ons te verplaatsen 100 biljoen Pi berekening naar de cloud, eindigden we iets te veel. We bestelden twee 80 TB Snowballs die waren afgestemd op datamigratie en hadden er maar één nodig. Dus met de tweede wilden we zien of we een EC2-instantie operationeel konden krijgen in een externe omgeving. Hoewel dit een gemakkelijke instellingsoptie zou zijn bij het configureren van de Snowball voorafgaand aan verzending, zodat de klant een apparaat ontvangt met EC2 klaar voor gebruik, is het een beetje lastiger, hoewel niet onmogelijk, om achteraf opnieuw te configureren in het veld.

Let op, dit artikel gaat in op de kern van het configureren van een VM en het sideloaden ervan op de Snowball. Als u naar dat gedeelte wilt gaan, klik dan hier.

Achtergrond en overzicht van Amazon AWS Storage Optimized Snowball

Amazon AWS Storage Optimized Snowball is een robuuste, draagbare en veilige oplossing voor gegevensoverdracht die is ontworpen om het proces van het verplaatsen van grote hoeveelheden gegevens van en naar de AWS Cloud te vereenvoudigen en te versnellen. Dit speciaal gebouwde apparaat is speciaal ontworpen voor use-cases die snelle gegevensoverdracht en kortetermijnopslag vereisen, waardoor het ideaal is voor tijdelijke installaties of locaties met beperkte of geen netwerkconnectiviteit.

Uitgerust met geavanceerde opslagmogelijkheden, codering en sabotagebestendige functies, zorgt de Storage Optimized Snowball voor een veilige en efficiënte gegevensmigratie, terwijl de kosten voor gegevensoverdracht aanzienlijk worden verlaagd in vergelijking met traditionele methoden. Door gebruik te maken van dit innovatieve apparaat kunnen organisaties de uitdagingen van gegevensverzameling en -opslag in edge-omgevingen overwinnen, waardoor de weg wordt vrijgemaakt voor naadloze gegevensintegratie en -analyse in de cloud.

Storage Optimized Snowball beschikt over verschillende belangrijke functies die het een krachtige oplossing maken voor gegevensoverdracht en -opslag:

• Opslag met hoge capaciteit: met opslagcapaciteiten tot 80 TB kan Storage Optimized Snowball gemakkelijk grootschalige gegevensmigratietaken aan, waarbij het geschikt is voor verschillende gebruiksscenario's en gegevensintensieve toepassingen.
• Snelle gegevensoverdracht: Uitgerust met supersnelle 40 Gbps netwerkverbindingen, maakt Snowball snelle en efficiënte gegevensoverdrachten mogelijk, waardoor de tijd die nodig is voor gegevensmigratie wordt verkort.
• Gegevensbeveiliging: Snowball maakt gebruik van versleutelingsprotocollen die voldoen aan de industriestandaard (zoals 256-bits AES) om gegevens zowel onderweg als in rust te beschermen, waardoor de vertrouwelijkheid en integriteit van uw gegevens tijdens het hele migratieproces wordt gegarandeerd.
• Robuust ontwerp: De Storage Optimized Snowball is gebouwd om zware omstandigheden te weerstaan ​​en heeft een robuust en weerbestendig ontwerp, waardoor hij geschikt is voor gebruik in een breed scala van omstandigheden en tijdelijke installaties.
• Edge computing-mogelijkheden: met de ingebouwde rekenmogelijkheden van Snowball kunnen gebruikers edge computing-workloads uitvoeren en gegevens rechtstreeks op het apparaat verwerken, waardoor latentie wordt verminderd en real-time analyse mogelijk wordt.
• AWS Greengrass-integratie: Snowball wordt vooraf geïnstalleerd met AWS Greengrass, waardoor naadloze integratie met AWS Lambda en andere AWS-services mogelijk wordt, waardoor edge-verwerking en analyse mogelijk wordt.
• Eenvoudige implementatie en beheer: met zijn intuïtieve en gebruiksvriendelijke interface vereenvoudigt Storage Optimized Snowball het proces van apparaatconfiguratie, gegevensoverdracht en tracking, waardoor gegevensmigratietaken voor organisaties van elke omvang worden gestroomlijnd.

Amazon AWS Storage Optimized Snowball biedt aanzienlijke kostenbesparingen en efficiëntievoordelen in vergelijking met traditionele methoden voor gegevensoverdracht. Door gebruik te maken van Snowball's opslagcapaciteit met hoge capaciteit en snelle gegevensoverdracht, kunnen organisaties de tijd en bandbreedte die nodig is voor gegevensmigratie drastisch verminderen, wat resulteert in aanzienlijke besparingen in zowel tijd als middelen.

Bovendien elimineren het robuuste ontwerp en de edge computing-functies van Snowball de noodzaak voor extra hardware-investeringen en on-site infrastructuur, waardoor de kosten voor tijdelijke installaties of edge-projecten verder worden verlaagd. Bovendien maakt de naadloze integratie met AWS-services gestroomlijnd gegevensbeheer en -analyse mogelijk, waardoor de algehele productiviteit en operationele efficiëntie worden verbeterd.

En zoals eerder vermeld, hebben we twee van de AWS Snowball Edge Storage Optimized-apparaten besteld, maar Amazon heeft Snowballs die zijn ontworpen om meer rekenkracht te hebben en waarvoor het sideloading-proces dat we gaan bespreken niet nodig is. We hadden gewoon een "extra" apparaat en wilden zien hoeveel we het buiten het ontworpen comfortvenster konden duwen.

Aangepaste virtuele machines sideloaden naar voor opslag geoptimaliseerde sneeuwbal

We raden u ten zeerste aan om door te lezen de officiële Amazon-blog op dit proces; onze stappen hier zijn gebaseerd op onze specifieke configuratie en hoe we deze hebben kunnen uitvoeren.

Toen AWS Snowball Edge voor het eerst werd geïntroduceerd in 2016, moesten gebruikers die Amazon Elastic Compute Cloud (Amazon EC2)-instanties op het apparaat wilden uitvoeren, tijdens het bestelproces een Amazon Machine Image (AMI) specificeren. Het apparaat ondersteunt dan het starten van Amazon EC2-instanties op basis van de geselecteerde AMI. Voor het updaten van een AMI of het overschakelen naar een andere voor nieuwe workloads, het oplossen van problemen of het inschakelen van nieuwe functies, moest het apparaat echter worden teruggestuurd naar AWS voor de AMI-update en vervolgens wachten tot het werd teruggestuurd.

Dit proces is inmiddels gestroomlijnd. Sommige van de stappen hier zijn alleen ter referentie en kunnen rechtstreeks vanuit het Amazon-stuk worden gebruikt, dus we zullen niet de details specificeren, maar meer een checklist geven.

1. Maak een VM op uw werkstation die u in Snowball wilt laden.
   1. Installeer uw hypervisor. We hebben ervoor gekozen om Oracle VirtualBox te gebruiken zoals gespecificeerd door Amazon. We gebruikten echter een op Windows gebaseerde host, die enkele kleine verschillen in het proces heeft.
   2. Installeer uw gast-besturingssysteem. We kozen voor Ubuntu 22.04 omdat het gemakkelijk te verkrijgen en te gebruiken was. Na installatie raden we aan om updates uit te voeren en ervoor te zorgen dat DHCP is ingeschakeld en nu SSH/RDP-toegang te testen.
      1. Houd er rekening mee dat wanneer u een schijfgrootte selecteert, deze in een latere stap wordt geconverteerd naar een RAW-schijfbestand, dus hoe groot of klein de schijf ook is die u moet selecteren, u zult alle ruimte naar het Snow-apparaat moeten laden.
   3. Zoek het .vdi-bestand van de virtuele schijf op uw harde schijf en kopieer de locatie met de bestandsnaam.
   4. Navigeer naar de installatiemap van VirtualBox; voor ons was het "C:\Program Files\Oracle\VirtualBox" Klik met de rechtermuisknop, "Open Powershell Window Here" (Windows-specifieke andere commando's beschikbaar in het Amazon-artikel)
   5. Gebruik het pad van uw .vdi-bestand dat u eerder hebt gemaakt en deze opdracht als referentie om uw eigen pad te maken. (Windows-versie hier)
      1. .\VBoxManage.exe clonehd "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.vdi" "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.raw" --format raw
   6. Laad de .raw-afbeelding naar het sneeuwapparaat.
      
   7. Maak IAM-machtigingen voor het importeren van afbeeldingen door een IAM-rol en bijbehorend beleid in te stellen voor het VM-import/-exportproces.
      
      1. Maak een IAM-beleid dat de benodigde machtigingen verleent aan de lokale VM Import/Export-service om de momentopname van Amazon S3 op het apparaat te downloaden.
      2. Maak na het maken van het beleid een IAM-rol met een vertrouwensbeleid, zodat Snowball VM Import/Export de rol kan overnemen.
      3. Koppel het eerder gemaakte beleid aan de IAM-rol, zodat VM Import/Export toegang heeft tot de afbeelding die is opgeslagen in de S3-bucket op het apparaat.
   8. Afbeelding importeren als momentopname
      1. Navigeer terug naar de Snowball-dashboardpagina en selecteer "Aan de slag" in het paneel "Start computing".
      2. Kies "Snapshots" en vervolgens "Snapshot importeren" om te beginnen met het importeren van de onbewerkte afbeelding als een snapshot.
      3. Geef op de pagina "Snapshot importeren" de vereiste beschrijvingen op en geef de eerder gemaakte IAM-rol op.
      4. Blader door S3 om het onbewerkte afbeeldingsbestand te zoeken en te selecteren en dien vervolgens het importverzoek in.
      5. Het importeren van snapshots duurt enkele minuten, afhankelijk van de afbeeldingsgrootte.
      6. Na voltooiing wordt de status "Voltooid" weergegeven.
   9. Registreer een AMI van de momentopname
      1. Om een ​​AMI van de momentopname te registreren, selecteert u de momentopname-ID die u zojuist hebt gemaakt en klikt u op "Afbeelding registreren".
      2. Voer een naam en beschrijving in voor de AMI, behoud het rootvolume-apparaat als /dev/sda1, en verzend.
      3. De momentopname wordt nu geregistreerd als een AMI, zodat u er EC2-exemplaren van kunt starten.
   10. Start uw EC2-instantie op het Snow-apparaat
       
       1. Om een ​​EC2-instantie vanuit uw AMI te starten, navigeert u terug naar de Snowball-dashboardpagina en selecteert u "Instances".
       2. Klik op "Launch instance" en voer uw AMI-naam en het gewenste instancetype in.
       3. Kies voor toewijzing van een openbaar IP-adres of u een nieuwe (VNI) wilt maken, een bestaande wilt gebruiken of er helemaal geen wilt toewijzen.
       4. Wat betreft het sleutelpaar, kies ervoor om geen sleutelpaar toe te voegen als u al vereiste openbare sleutels aan de afbeelding hebt toegevoegd, of kies ervoor om een ​​bestaand sleutelpaar te maken/gebruiken.
       5. Klik op "Launch" om uw EC2-instantie te initialiseren.
       6. Zodra de EC2-instantie actief is, opent u deze op dezelfde manier als elke andere EC2-instantie in AWS.

Hoewel het proces van het sideloaden van aangepaste virtuele machines naar apparaten zoals AWS Snowball Edge misschien complex en uitdagend lijkt, is de moeite de moeite waard vanwege de vele voordelen die het biedt. Het is belangrijk op te merken dat hoewel het mogelijk is om een ​​AMI aan de zijkant te laden na het bestellen van het apparaat, het kiezen voor het apparaat met de AMI al is geladen, u een vooraf geconfigureerd apparaat geeft dat klaar is voor gebruik.

Het gebruik van aangepaste virtuele machines voor het verzamelen van edge-gegevens biedt verschillende belangrijke voordelen. Aanpassing stelt organisaties in staat hun virtuele machines aan te passen aan specifieke gebruikssituaties, waardoor de prestaties en efficiëntie worden geoptimaliseerd. Door gespecialiseerde applicaties te integreren, kunnen organisaties gegevensverwerking en -analyse direct aan de rand stroomlijnen, latentie verminderen en real-time besluitvorming verbeteren.

De grotere flexibiliteit en aanpasbaarheid die deze sideloaded aangepaste virtuele machines bieden, stelt organisaties in staat om snel te reageren op veranderende behoeften of onverwachte veranderingen in hun vereisten voor gegevensverzameling. Door aangepaste virtuele machines te sideloaden in edge-apparaten zoals AWS Snowball Storage Optimized Edge, kunnen organisaties het volledige potentieel van edge computing benutten en hun behoeften op het gebied van gegevensverzameling en -verwerking in uiteenlopende omgevingen efficiënt beheren.

Implementatie van snelle gegevensverzameling aan de rand

Het opzetten van een voor opslag geoptimaliseerde sneeuwbal voor gegevensverzameling omvat het configureren van het apparaat om specifieke gegevensverzamelingstaken en -vereisten uit te voeren. Door gebruik te maken van de robuuste mogelijkheden van het Snowball Edge-apparaat, kunnen organisaties grote hoeveelheden gegevens verzamelen en verwerken in omgevingen met intermitterende connectiviteit of afgelegen locaties.

De blokopslag van het apparaat en de Amazon S3-compatibele objectopslag stellen gebruikers in staat om enorme hoeveelheden gegevens veilig op te slaan, te beheren en over te dragen. Door de Snowball Edge aan te passen aan de projectvereisten, kunnen organisaties gegevensverzamelingsprocessen optimaliseren om aan hun unieke behoeften en doelen te voldoen.

Integratie van aangepaste virtuele machines met tools voor gegevensverzameling stroomlijnt het gegevensverzamelingsproces aan de rand verder. Door gespecialiseerde applicaties of frameworks te integreren, kunnen organisaties gegevens rechtstreeks op het Snowball Edge-apparaat verwerken en analyseren, waardoor latentie wordt verminderd en real-time besluitvorming wordt verbeterd.

Deze integratie zorgt voor een naadloze samenwerking tussen verschillende tools voor gegevensverzameling en op maat gemaakte virtuele machines, waardoor een efficiënte gegevensverwerking en -beheer wordt gegarandeerd. Bovendien stelt het optimaliseren van gegevensoverdracht en synchronisatie met Amazon S3 organisaties in staat te profiteren van de schaalbare en veilige opslag die wordt geboden door de cloudinfrastructuur van Amazon.

Dit proces vergemakkelijkt de naadloze overdracht van verzamelde gegevens van het Snowball Edge-apparaat naar Amazon S3, waardoor gegevens direct beschikbaar zijn voor verdere analyse of langdurige opslag. Dit bevordert op zijn beurt een betrouwbaar en efficiënt ecosysteem voor gegevensbeheer dat snelle gegevensverzameling en -verwerking aan de edge ondersteunt.

Sneaker-net Voordeel

In veel scenario's kan Sneaker-net, of het fysiek overdragen van gegevens met behulp van apparaten zoals de Storage Optimized Snowball, sneller zijn dan het overzetten van gegevens via internet. Dit geldt met name voor externe of tijdelijke installaties met beperkte bandbreedte, hoge latentie of onbetrouwbare connectiviteit.

Voorbeelden zijn onder meer onderzoeksstations op afgelegen locaties, tijdelijke evenementenlocaties of zelfs noodherstellocaties. Door AWS Snowball te gebruiken om grote hoeveelheden gegevens te transporteren, kunnen organisaties de beperkingen van trage of onbetrouwbare internetverbindingen omzeilen en ervoor zorgen dat gegevens snel en veilig worden overgedragen naar Amazon S3 voor verdere verwerking en analyse.

Gegevens die zijn opgeslagen in S3 profiteren van de inherente schaalbaarheid en flexibiliteit die wordt geboden door het AWS-ecosysteem. Naarmate de datavolumes groeien, kunnen organisaties eenvoudig hun opslagcapaciteit aanpassen aan veranderende vereisten zonder dat er dure infrastructuurinvesteringen nodig zijn.

Bovendien kan S3 naadloos worden geïntegreerd met een breed scala aan AWS-services, zoals Amazon Athena, Amazon Redshift en Amazon SageMaker, waardoor organisaties hun gegevens kunnen analyseren, verwerken en inzichten kunnen ontlenen met behulp van krachtige tools voor analyse en machine learning. Deze integratie stelt organisaties uiteindelijk in staat om datagestuurde beslissingen te nemen en nieuwe kansen voor groei en innovatie te ontsluiten.

Sluiting Gedachten

Amazon AWS Storage Optimized Snowball biedt, in combinatie met aangepaste virtuele machines, een krachtige en kosteneffectieve oplossing voor snelle gegevensverzameling aan de edge. Tijdelijke installaties kunnen nu op efficiënte wijze grote hoeveelheden gegevens verzamelen en opslaan, terwijl ze profiteren van de beveiliging, schaalbaarheid en het integratiegemak van S3. Door deze innovatieve aanpak te omarmen, kunnen organisaties de hardwarekosten aanzienlijk verlagen, hun gegevensbeheer stroomlijnen en nieuwe inzichten uit hun gegevens halen.

Hoewel onze benadering van dit proces een beetje achterlijk was, zou je idealiter de EC2-instanties configureren op het moment van bestelling om het leven gemakkelijk te maken, het is goed om te weten dat AWS "creatieve flexibiliteit" mogelijk maakt met hun Snowball-apparaten. Maar als de werklast rekenintensief is, biedt AWS de Snowball Edge Compute Optimized met maximaal 104 vCPU's, 416 GB DRAM en 28 TB flash. En als je behoefte hebt aan analyse, bieden ze zelfs sneeuwballen met GPU's aan. Voor het verzamelen van edge-gegevens biedt AWS een heleboel opties en een deel van het plezier is ontdekken welk Snow-apparaat misschien geschikt voor u is.

AWS Snow Podcast met StorageReview en Wayne Duso

Neem contact op met StorageReview

Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed