OpslagReview. com

Gegevens sneller naar de cloud brengen met AWS Snowball Edge-apparaten

Cloud  ◇  Enterprise

We hebben onlangs een data-analyseproject afgerond dat resulteerde in een uitvoerbestand van 100 TB . Hoewel we in ons lab over voldoende opslagruimte beschikken, brengt het permanent bewaren van zo'n bestand een aantal unieke uitdagingen met zich mee. Bovendien hebben we het bestand niet per se "nodig", maar we willen het, indien mogelijk, wel bewaren. De cloud is hiervoor een voor de hand liggende oplossing, maar het overzetten van zo'n grote hoeveelheid data via het netwerk duurt enorm lang. Daarom hebben we ervoor gekozen om AWS Snowball Edge-apparaten uit te proberen. Het doel: onze data zo snel mogelijk vanuit het lab in Cincinnati naar een S3-bucket in de AWS-regio us-east-2 overzetten.

AWS Sneeuwbalrand

Wat zijn AWS Snowball Edge-apparaten?

Voordat we te diep ingaan op de taak van gegevensmigratie, is een korte inleiding op AWS Snowball Edge-apparaten gerechtvaardigd. AWS Snow Family is een verzameling speciaal gebouwde services. Deze services voeren rekenintensieve workloads uit terwijl gegevens worden opgeslagen op edge-locaties voor geweigerde, verstoorde, intermitterende of beperkte (DDIL) netwerkconnectiviteit en voor de overdracht van grote hoeveelheden gegevens van on-premises en robuuste of mobiele omgevingen. AWS Snowball Edge-apparaten zijn robuust, draagbaar en veilig en bieden voor opslag geoptimaliseerde of voor rekenkracht geoptimaliseerde functies. Deze apparaten zijn ontworpen om klanten te helpen grote hoeveelheden gegevens veilig en efficiënt te verplaatsen (naar AWS) of te verwerken, zelfs op afgelegen of niet-verbonden locaties.

AWS Snowball Edge-kabels

Snowball Edge-apparaten zijn er in twee versies: de Snowball Edge Storage Optimized, die we hier gebruiken, en de Snowball Edge Compute Optimized. De Storage Optimized-versie is ontworpen voor gebruiksscenario's voor gegevensoverdracht en opslag en wordt geleverd met een opslagcapaciteit van maximaal 80 TB. De Compute Optimized-versie is bedoeld voor gebruiksscenario's voor gegevensverwerking en berekeningen en wordt geleverd met maximaal 104 virtuele CPU's en 416 GB RAM. Er is zelfs een optie voor een Compute Optimized-systeem om een ​​GPU op te nemen. Voor degenen met een meer bescheiden databehoefte is er ook een kleine, ultradraagbare Snow Family, genaamd AWS Snowcone.

AWS Snowball Edge-configuratieopties

Beide versies van Snowball Edge hebben ingebouwde beveiligingsfuncties, zoals tamper-evident behuizingen, 256-bits codering en Trusted Platform Module (TPM)-chips om de integriteit en vertrouwelijkheid van de gegevens te waarborgen. Bovendien kunnen Snowball Edge-apparaten worden geconfigureerd om AWS Lambda-functies, Amazon EC2-instances en andere AWS-services aan de rand uit te voeren, waardoor klanten gegevensverwerking en -analyse op locatie kunnen uitvoeren voordat de gegevens naar AWS worden overgebracht.

Voor onze use case bieden Snowball Edge-apparaten een snelle, veilige en flexibele manier voor klanten om grote hoeveelheden gegevens over te dragen en te verwerken in verschillende omgevingen, inclusief externe of niet-verbonden locaties.

aws sneeuwbalrandweergave

AWS Snowball-bestelproces

Voor doorgewinterde AWS-professionals is het bestelproces voor Snowball eenvoudig. Zelfs voor nieuwelingen zoals ik kon ik door de stappen klikken met een beetje behulpzaam duwtje in de rug van onze AWS-vrienden die ons door het proces hebben gecoacht.

aws sneeuwbal bestellen stap 1

Stap 1 is om uw taak een naam te geven en het taaktype voor uw Snow-apparaat te kiezen. Onze taak was simpelweg om gegevens naar S3 over te zetten, maar Snow-apparaten kunnen ook gegevens van S3 exporteren. Ze kunnen ook worden gebruikt als puntoplossingen om lokale rekenkracht, opslag en GPU aan te bieden aan een edge-locatie.

opslagreview aws snowball bestellen stap 2

Stap 2 blijft eenvoudig, met de selectie van het Snow-apparaat. In ons geval hebben we gekozen voor de Snowball Edge Storage Optimized-eenheid, met 80 TB beschikbaar. Er zijn verschillende prijsopties voor AWS Snowball. Er is een prijsoptie voor dagelijks gebruik, of AWS Snowball geeft aanzienlijke kortingen (tot 62%) voor gebruik van 1 jaar en gebruiksverplichtingen van 3 jaar. Met deze langetermijndeals betaalt u vooraf om de Snowball-apparaten tegen een gereduceerd tarief te gebruiken en hoeft u geen extra servicekosten of dagelijkse kosten te betalen totdat uw vooruitbetaalde periode afloopt. U kunt zich aanmelden voor vaste prijzen vooraf in de AWS Snow Family-console wanneer u een Snowball-apparaat bestelt.

Kies tot slot de EC2-instanties en S3-buckets die je nodig hebt voor de import. Dit was een nieuw account, dus we hebben een nieuwe S3-bucket aangemaakt. We hadden hiervoor geen EC2- instantie nodig, maar hebben er later toch eentje geïnstalleerd voor de lol.

Stap 3 biedt een aantal extra functies, zoals een optionele AWS IoT Greengrass voor Snow en een optie voor apparaatbeheer op afstand.

opslagreview aws snowball bestellen stap 4

Stap 4 behandelt beveiligings-, verzendings- en meldingsvoorkeuren. Hier hebben we de standaardversleuteling gebruikt en de voorgestelde servicerol gemaakt zodat AWS de gegevens kan verwerken. Van daaruit voegt u uw adres toe en selecteert u verzending binnen één of twee dagen. U kunt hier ook e-mailmeldingen toevoegen, hoewel de AWS-console alle voortgang laat zien terwijl de taak door het systeem werkt.

opslagreview aws snowball bestellen stap 5

De laatste stap is het valideren van alle ingevoerde informatie en het indienen. Dit creëert de taak en vervolgens begint het uitvoeringsproces door AWS. We stapten vrij langzaam door het proces met AWS en wilden alle opties begrijpen. Zelfs in ons ongedwongen tempo duurde het hele proces ongeveer 10 minuten. Een agressiever pad zou het bestellen van een Snow-apparaat maximaal 2-3 minuten maken.

storagereview aws sneeuwbal bestellen kloontaak

Destijds dachten we dat we twee Snowball Edge-apparaten nodig zouden hebben. Achteraf gezien hadden we er maar één nodig. Het proces om deze taak te klonen is ook heel eenvoudig, en het is nog maar een paar klikken om een ​​paar sneeuwballen op te tellen voor grotere datasets.

aws sneeuwbal afgeleverd

Vanaf hier is het een wachtend spel, aangezien het uitvoeringsproces via het systeem werkt. Omdat dit een gloednieuw account was, hebben we een paar vlaggen geactiveerd door meteen twee Snowball Edge-apparaten te bestellen. Maar voor accounts met activiteit zouden dergelijke verificaties niet moeten zijn. De sneeuwballen verschenen binnen slechts een paar dagen en we begonnen onze gegevens klaar te maken voor transport.

Een belangrijk aandachtspunt bij Snowball is de prijs. Er zijn projectkosten, inclusief tien dagen dat de unit op locatie aanwezig is. Daarnaast zijn er natuurlijk ook cloudkosten in S3 zodra de data daar is opgeslagen. Hoewel de prijsstelling van Snowball niet ingewikkeld is, varieert deze wel afhankelijk van het gekozen systeem, de benodigde gebruiksduur en de regio waarin u zich bevindt. In ons geval bedroegen de projectkosten $300 per Snowball, en zelfs dat bedrag kan aanzienlijk lager uitvallen bij langlopende contracten. U kunt echter wel een idee krijgen van de Snowball-prijzen; AWS heeft een tabel waarin alles overzichtelijk wordt weergegeven.

Data voorbereiding

We zijn begonnen met een tekstbestand van 100 TB, maar iedereen met ervaring met S3 weet dat dit een probleem is. S3 heeft een objectgroottelimiet van 5 TB, wat betekent dat we iets moesten doen aan ons enkele niet-compatibele bestand. Ons antwoord was om het in stukken te hakken en te kijken of we tegelijkertijd wat compressievoordeel konden behalen. De hoop was dat we konden komen tot een enkele Snowball-eenheid, die uitkomt op 80 TB bruikbaar. Terwijl we wachtten tot de Snowball Edge arriveerde, begonnen we met het voorbereiden van de gegevens.

Recreatie van het proces

We gebruikten onze favoriete applicatie voor het werken met grote getallen , y-cruncher, die een hulpprogramma bevat voor het bekijken, splitsen en comprimeren van cijfers. Vanwege de beperking van de objectgrootte in S3 kozen we ervoor om alle 100 biljoen cijfers van Pi op te splitsen in 200 bestanden. Na compressie resulteerde dat in een bestandsgrootte van ongeveer 191 GB, elk met 500,000,000,000 (500 miljard) cijfers.

AWS Snowball-configuratie

Met gegevens voorbereid en het Snowball-apparaat in de hand, hebben we de eerste eenheid geactiveerd om het online te krijgen. Het instellen van Snowball is heel eenvoudig, waardoor het kracht en toegang tot het netwerk krijgt; we kozen voor de 10GbE-poort. Velen zullen ervoor kiezen om CLI te gebruiken om te communiceren met de Snowball, wat waarschijnlijk de geprefereerde methode is. Maar omwille van de beelden en de ervaring vanuit een niet-AWS professioneel oogpunt, hebben we gekozen voor AWS OpsHub voor Snow Family.

AWS OpsHub voor Snow Family is een gebruiksvriendelijke tool waarmee klanten hun Snow Family-apparaten en lokale AWS-services kunnen beheren. Gebruikers kunnen apparaten ontgrendelen en configureren, bestanden overdragen, instanties starten en beheren, en apparaatstatistieken bewaken via een grafische gebruikersinterface. Deze interface biedt een uniform overzicht van de AWS-services die op de apparaten draaien. AWS OpsHub automatiseert operationele taken en is ontworpen voor gebruikers met verschillende niveaus van technische expertise, waardoor het beheer van een groot aantal Snow Family-apparaten eenvoudiger wordt.

AWS OpsHub voor Snow Family

Met het IP-adres van het LCD-scherm en de ontgrendelcode en het manifestbestand van uw AWS-console kunt u de Snowball Edge ontgrendelen en openen. Dit kan enkele minuten duren, aangezien AWS de inloggegevens valideert, de inhoud ontsleutelt en een paar andere huishoudelijke taken uitvoert.

AWS OpsHub-dashboard

Eenmaal ingelogd, wordt u naar een visueel dashboard geleid met de relevante apparaatinformatie en de ingeschakelde services. Op dit moment zijn we online, verbonden met het netwerk en klaar om onze gegevens te verplaatsen.

Gegevens overbrengen naar AWS Snowball

Nu Snowball Edge is ingesteld, op het netwerk en OpsHub is aangesloten, is het tijd om onze 200 bestanden van 200 GB te verplaatsen. Hoewel de meesten de CLI-interface voor dit proces zouden gebruiken en baat zouden hebben bij een meer tijdgeoptimaliseerde ervaring, kozen wij voor eenvoud. Met behulp van OpsHub in Windows selecteerden we eenvoudig de map met onze Pi-gegevens erin en lieten de gegevens los. Het kostte ons ongeveer vier dagen voordat de bestanden bij de Snowball waren.

AWS Snowball Edge-interfaces

Nadat de gegevensoverdracht was voltooid, hebben we het apparaat uitgeschakeld, waarna het e-ink-display veranderde in het adres voor inname. In ons geval betekende dat Columbus, Ohio, de thuisbasis van us-east-2. Overigens, als het eenmaal in handen van de verzender is, gaan de toegangsgegevens ook weg van de webconsole, waardoor de gegevens onderweg worden beschermd.

AWS houdt de sneeuwbalstatus bij

Eenmaal afgeleverd bij UPS, werkt de AWS-webinterface de taakstatus bij met het trackingnummer en de voortgang van de Snowball van doorvoer, sorteren, AWS-ontvangstbewijs en importeren in S3. Het duurde een paar dagen voordat de Snowball zijn weg naar Columbus had gevonden en twee dagen voordat de import was voltooid.

S3 Emmer met Ingest Compleet

Nadat was bevestigd dat het proces was voltooid, hebben we een visual gemaakt in S3 om ervoor te zorgen dat alle gegevens correct werden geïmporteerd. Om klanten meer formele gemoedsrust te geven, biedt AWS ook een auditrapport voor het hele proces, inclusief eventuele uitzonderingen.

Succeslogboek importeren AWS Snowball Edge

In ons logboek kunnen we zien dat de 200 bestanden zijn voltooid zonder fouten. AWS registreert ook de hoogtepunten terwijl de Snowball Edge en zijn gegevens door het systeem worden verplaatst.

Conclusie

AWS Snowball Edge-apparaten zijn niet nieuw; AWS was een early mover als het erom ging haar klanten een veilige manier te bieden om het verplaatsen van offline data of externe opslag naar de cloud te versnellen. Als we zojuist hadden geprobeerd onze gegevens via de kabel naar S3 te kopiëren, zouden we waarschijnlijk nog steeds wachten tot die klus was geklaard en konden we niet veel anders productief doen omdat onze internetleiding vastzat. Voor ons was de Snowball Edge Storage Optimized-eenheid precies wat we nodig hadden om onze gegevens zo snel mogelijk naar de cloud te krijgen.

aws sneeuwbalrandweergave aan

Dit is niet zonder kosten. Hoewel langetermijnklanten betere prijzen kunnen krijgen, bedroegen onze contante kosten voor de Snowballs ongeveer $ 700. Dat is echter niet slecht, aangezien we per ongeluk een extra hebben besteld en we niet zo snel zijn overgegaan om de eenheden terug te draaien naar AWS. Er waren geen kosten verbonden aan het opnemen van de gegevens in S3 en de lopende S3-kosten worden bepaald door uw contracttarief met AWS.

Het is belangrijk om te vermelden dat we de Snowball Edge op de meest basale manier hebben gebruikt. De Snowball-apparaten met Compute, met name die met GPU's, bieden veel meer mogelijkheden voor intensievere toepassingen. Geïnteresseerden kunnen luisteren naar onze recente AWS Snow Podcast . Uiteindelijk zijn de Snow-apparaten gewoon een kleinere versie van AWS met een beperking in opslag en rekenkracht. Maar zoals we hebben gezien, zijn ze zeer flexibel, extreem eenvoudig te implementeren en zorgen ze ervoor dat data betrouwbaar op de juiste plek terechtkomt. Voor iedereen die AWS Snow-apparaten overweegt, raden we ten zeerste aan om ze eens uit te proberen.

AWS Snowball Edge-gids

 

Neem contact op met StorageReview

Nieuwsbrief | YouTube | Podcast | iTunes / Spotify | Instagram | Twitter | TikTok | RSS-feed

Brian Beeler

Brian is gevestigd in Cincinnati, Ohio en is de hoofdanalist en voorzitter van StorageReview.com.