We hebben onlangs een project in de stijl van data-analyse voltooid, waardoor we een 100TB uitvoerbestand. Hoewel we in ons lab over voldoende opslagruimte beschikken, brengt het eeuwig vasthouden aan een bestand van 100 TB een unieke reeks uitdagingen met zich mee. Verder hebben we het bestand niet echt "nodig", maar we zouden het, indien mogelijk, liever bewaren. De cloud is een voor de hand liggende oplossing voor deze behoefte, maar de tijd om zoveel gegevens via de draad over te dragen is immens, dus hebben we ervoor gekozen om AWS Snowball Edge-apparaten eens te proberen. Het doel - om onze gegevens zo snel mogelijk van het lab in Cincinnati naar een S3-bucket in de AWS us-east-2-regio te krijgen.
We hebben onlangs een project in de stijl van data-analyse voltooid, waardoor we een 100TB uitvoerbestand. Hoewel we in ons lab over voldoende opslagruimte beschikken, brengt het eeuwig vasthouden aan een bestand van 100 TB een unieke reeks uitdagingen met zich mee. Verder hebben we het bestand niet echt "nodig", maar we zouden het, indien mogelijk, liever bewaren. De cloud is een voor de hand liggende oplossing voor deze behoefte, maar de tijd om zoveel gegevens via de draad over te dragen is immens, dus hebben we ervoor gekozen om AWS Snowball Edge-apparaten eens te proberen. Het doel - om onze gegevens zo snel mogelijk van het lab in Cincinnati naar een S3-bucket in de AWS us-east-2-regio te krijgen.
Wat zijn AWS Snowball Edge-apparaten?
Voordat we te diep ingaan op de taak van gegevensmigratie, is een korte inleiding op AWS Snowball Edge-apparaten gerechtvaardigd. AWS Snow Family is een verzameling speciaal gebouwde services. Deze services voeren rekenintensieve workloads uit terwijl gegevens worden opgeslagen op edge-locaties voor geweigerde, verstoorde, intermitterende of beperkte (DDIL) netwerkconnectiviteit en voor de overdracht van grote hoeveelheden gegevens van on-premises en robuuste of mobiele omgevingen. AWS Snowball Edge-apparaten zijn robuust, draagbaar en veilig en bieden voor opslag geoptimaliseerde of voor rekenkracht geoptimaliseerde functies. Deze apparaten zijn ontworpen om klanten te helpen grote hoeveelheden gegevens veilig en efficiënt te verplaatsen (naar AWS) of te verwerken, zelfs op afgelegen of niet-verbonden locaties.
Snowball Edge-apparaten zijn er in twee versies: de Snowball Edge Storage Optimized, die we hier gebruiken, en de Snowball Edge Compute Optimized. De Storage Optimized-versie is ontworpen voor gebruiksscenario's voor gegevensoverdracht en opslag en wordt geleverd met een opslagcapaciteit van maximaal 80 TB. De Compute Optimized-versie is bedoeld voor gebruiksscenario's voor gegevensverwerking en berekeningen en wordt geleverd met maximaal 104 virtuele CPU's en 416 GB RAM. Er is zelfs een optie voor een Compute Optimized-systeem om een GPU op te nemen. Voor degenen met een meer bescheiden databehoefte is er ook een kleine, ultradraagbare Snow Family, genaamd AWS Snowcone.
Beide versies van Snowball Edge hebben ingebouwde beveiligingsfuncties, zoals tamper-evident behuizingen, 256-bits codering en Trusted Platform Module (TPM)-chips om de integriteit en vertrouwelijkheid van de gegevens te waarborgen. Bovendien kunnen Snowball Edge-apparaten worden geconfigureerd om AWS Lambda-functies, Amazon EC2-instances en andere AWS-services aan de rand uit te voeren, waardoor klanten gegevensverwerking en -analyse op locatie kunnen uitvoeren voordat de gegevens naar AWS worden overgebracht.
Voor onze use case bieden Snowball Edge-apparaten een snelle, veilige en flexibele manier voor klanten om grote hoeveelheden gegevens over te dragen en te verwerken in verschillende omgevingen, inclusief externe of niet-verbonden locaties.
AWS Snowball-bestelproces
Voor doorgewinterde AWS-professionals is het bestelproces voor Snowball eenvoudig. Zelfs voor nieuwelingen zoals ik kon ik door de stappen klikken met een beetje behulpzaam duwtje in de rug van onze AWS-vrienden die ons door het proces hebben gecoacht.
Stap 1 is om uw taak een naam te geven en het taaktype voor uw Snow-apparaat te kiezen. Onze taak was simpelweg om gegevens naar S3 over te zetten, maar Snow-apparaten kunnen ook gegevens van S3 exporteren. Ze kunnen ook worden gebruikt als puntoplossingen om lokale rekenkracht, opslag en GPU aan te bieden aan een edge-locatie.
Stap 2 blijft eenvoudig, met de selectie van het Snow-apparaat. In ons geval hebben we gekozen voor de Snowball Edge Storage Optimized-eenheid, met 80 TB beschikbaar. Er zijn verschillende prijsopties voor AWS Snowball. Er is een prijsoptie voor dagelijks gebruik, of AWS Snowball geeft aanzienlijke kortingen (tot 62%) voor gebruik van 1 jaar en gebruiksverplichtingen van 3 jaar. Met deze langetermijndeals betaalt u vooraf om de Snowball-apparaten tegen een gereduceerd tarief te gebruiken en hoeft u geen extra servicekosten of dagelijkse kosten te betalen totdat uw vooruitbetaalde periode afloopt. U kunt zich aanmelden voor vaste prijzen vooraf in de AWS Snow Family-console wanneer u een Snowball-apparaat bestelt.
Kies ten slotte de EC2-instanties en S3-buckets die u nodig hebt om te importeren. Dit was een nieuw account, dus hebben we een nieuwe S3-bucket gemaakt. We hadden hier ook geen EC2 voor nodig maar kwamen er wel uit later een EC2-instantie sideloaden voor een beetje plezier.
Stap 3 biedt een aantal extra functies, zoals een optionele AWS IoT Greengrass voor Snow en een optie voor apparaatbeheer op afstand.
Stap 4 behandelt beveiligings-, verzendings- en meldingsvoorkeuren. Hier hebben we de standaardversleuteling gebruikt en de voorgestelde servicerol gemaakt zodat AWS de gegevens kan verwerken. Van daaruit voegt u uw adres toe en selecteert u verzending binnen één of twee dagen. U kunt hier ook e-mailmeldingen toevoegen, hoewel de AWS-console alle voortgang laat zien terwijl de taak door het systeem werkt.
De laatste stap is het valideren van alle ingevoerde informatie en het indienen. Dit creëert de taak en vervolgens begint het uitvoeringsproces door AWS. We stapten vrij langzaam door het proces met AWS en wilden alle opties begrijpen. Zelfs in ons ongedwongen tempo duurde het hele proces ongeveer 10 minuten. Een agressiever pad zou het bestellen van een Snow-apparaat maximaal 2-3 minuten maken.
Destijds dachten we dat we twee Snowball Edge-apparaten nodig zouden hebben. Achteraf gezien hadden we er maar één nodig. Het proces om deze taak te klonen is ook heel eenvoudig, en het is nog maar een paar klikken om een paar sneeuwballen op te tellen voor grotere datasets.
Vanaf hier is het een wachtend spel, aangezien het uitvoeringsproces via het systeem werkt. Omdat dit een gloednieuw account was, hebben we een paar vlaggen geactiveerd door meteen twee Snowball Edge-apparaten te bestellen. Maar voor accounts met activiteit zouden dergelijke verificaties niet moeten zijn. De sneeuwballen verschenen binnen slechts een paar dagen en we begonnen onze gegevens klaar te maken voor transport.
Een ding om te overwegen met Snowball is de prijsstelling. Er is een werkvergoeding, inclusief tien dagen dat de unit ter plaatse is. Er zijn natuurlijk cloudkosten in S3 zodra de gegevens daar ook aankomen. Hoewel de prijzen voor Snowball niet ingewikkeld zijn, variëren ze wel op basis van het systeem dat je selecteert, de tijd dat je het nodig hebt en in welke regio je je bevindt. In ons geval bedroegen de opdrachtkosten $ 300 per Snowball, en zelfs dat kan drastisch verlaagd met langlopende contracten. U kunt echter wel een idee krijgen van de prijzen van Snowball; AWS heeft een tafel waar alles op staat.
Data voorbereiding
We zijn begonnen met een tekstbestand van 100 TB, maar iedereen met ervaring met S3 weet dat dit een probleem is. S3 heeft een objectgroottelimiet van 5 TB, wat betekent dat we iets moesten doen aan ons enkele niet-compatibele bestand. Ons antwoord was om het in stukken te hakken en te kijken of we tegelijkertijd wat compressievoordeel konden behalen. De hoop was dat we konden komen tot een enkele Snowball-eenheid, die uitkomt op 80 TB bruikbaar. Terwijl we wachtten tot de Snowball Edge arriveerde, begonnen we met het voorbereiden van de gegevens.
Recreatie van het proces
We gebruikten onze favoriet applicatie voor het werken met grote getallen, y-cruncher, met een hulpprogramma voor het bekijken, splitsen en comprimeren van cijfers. Vanwege de beperking van de objectgrootte van S3, hebben we ervoor gekozen om alle 100 biljoen cijfers van Pi op te splitsen in 200 bestanden. Na compressie gaf dat ons een bestandsgrootte van ongeveer 191 GB, elk met 500,000,000,000 (500 miljard) cijfers.
AWS Snowball-configuratie
Met gegevens voorbereid en het Snowball-apparaat in de hand, hebben we de eerste eenheid geactiveerd om het online te krijgen. Het instellen van Snowball is heel eenvoudig, waardoor het kracht en toegang tot het netwerk krijgt; we kozen voor de 10GbE-poort. Velen zullen ervoor kiezen om CLI te gebruiken om te communiceren met de Snowball, wat waarschijnlijk de geprefereerde methode is. Maar omwille van de beelden en de ervaring vanuit een niet-AWS professioneel oogpunt, hebben we gekozen voor AWS OpsHub voor Snow Family.
AWS OpsHub voor Snow Family is een gebruiksvriendelijke tool die klanten helpt hun Snow Family-apparaten en lokale AWS-services te beheren. Gebruikers kunnen apparaten ontgrendelen en configureren, bestanden overdragen, instanties starten en beheren en apparaatstatistieken bewaken via een grafische gebruikersinterface, die een uniform beeld geeft van AWS-services die op de apparaten worden uitgevoerd. AWS OpsHub automatiseert operationele taken en is ontworpen om tegemoet te komen aan gebruikers met verschillende niveaus van technische expertise, waardoor het gemakkelijker wordt om een groot aantal Snow Family-apparaten te beheren.
Met het IP-adres van het LCD-scherm en de ontgrendelcode en het manifestbestand van uw AWS-console kunt u de Snowball Edge ontgrendelen en openen. Dit kan enkele minuten duren, aangezien AWS de inloggegevens valideert, de inhoud ontsleutelt en een paar andere huishoudelijke taken uitvoert.
Eenmaal ingelogd, wordt u naar een visueel dashboard geleid met de relevante apparaatinformatie en de ingeschakelde services. Op dit moment zijn we online, verbonden met het netwerk en klaar om onze gegevens te verplaatsen.
Gegevens overbrengen naar AWS Snowball
Nu Snowball Edge is ingesteld, op het netwerk en OpsHub is aangesloten, is het tijd om onze 200 bestanden van 200 GB te verplaatsen. Hoewel de meesten de CLI-interface voor dit proces zouden gebruiken en baat zouden hebben bij een meer tijdgeoptimaliseerde ervaring, kozen wij voor eenvoud. Met behulp van OpsHub in Windows selecteerden we eenvoudig de map met onze Pi-gegevens erin en lieten de gegevens los. Het kostte ons ongeveer vier dagen voordat de bestanden bij de Snowball waren.
Nadat de gegevensoverdracht was voltooid, hebben we het apparaat uitgeschakeld, waarna het e-ink-display veranderde in het adres voor inname. In ons geval betekende dat Columbus, Ohio, de thuisbasis van us-east-2. Overigens, als het eenmaal in handen van de verzender is, gaan de toegangsgegevens ook weg van de webconsole, waardoor de gegevens onderweg worden beschermd.
AWS houdt de sneeuwbalstatus bij
Eenmaal afgeleverd bij UPS, werkt de AWS-webinterface de taakstatus bij met het trackingnummer en de voortgang van de Snowball van doorvoer, sorteren, AWS-ontvangstbewijs en importeren in S3. Het duurde een paar dagen voordat de Snowball zijn weg naar Columbus had gevonden en twee dagen voordat de import was voltooid.
Nadat was bevestigd dat het proces was voltooid, hebben we een visual gemaakt in S3 om ervoor te zorgen dat alle gegevens correct werden geïmporteerd. Om klanten meer formele gemoedsrust te geven, biedt AWS ook een auditrapport voor het hele proces, inclusief eventuele uitzonderingen.
In ons logboek kunnen we zien dat de 200 bestanden zijn voltooid zonder fouten. AWS registreert ook de hoogtepunten terwijl de Snowball Edge en zijn gegevens door het systeem worden verplaatst.
Conclusie
AWS Snowball Edge-apparaten zijn niet nieuw; AWS was een early mover als het erom ging haar klanten een veilige manier te bieden om het verplaatsen van offline data of externe opslag naar de cloud te versnellen. Als we zojuist hadden geprobeerd onze gegevens via de kabel naar S3 te kopiëren, zouden we waarschijnlijk nog steeds wachten tot die klus was geklaard en konden we niet veel anders productief doen omdat onze internetleiding vastzat. Voor ons was de Snowball Edge Storage Optimized-eenheid precies wat we nodig hadden om onze gegevens zo snel mogelijk naar de cloud te krijgen.
Dit is niet zonder kosten. Hoewel langetermijnklanten betere prijzen kunnen krijgen, bedroegen onze contante kosten voor de Snowballs ongeveer $ 700. Dat is echter niet slecht, aangezien we per ongeluk een extra hebben besteld en we niet zo snel zijn overgegaan om de eenheden terug te draaien naar AWS. Er waren geen kosten verbonden aan het opnemen van de gegevens in S3 en de lopende S3-kosten worden bepaald door uw contracttarief met AWS.
Opgemerkt moet worden dat we de Snowball Edge op de meest elementaire manieren hebben gebruikt. De Snowball-apparaten met Compute, vooral die met GPU's, bieden veel meer mogelijkheden voor intensievere use-cases. Geïnteresseerden moeten afstemmen op onze recente AWS Sneeuwpodcast. Uiteindelijk zijn de Snow-apparaten slechts een kleinere versie van AWS met een opslag- en rekenlimiet. Maar zoals we hebben gezien, zijn ze zeer flexibel, uiterst eenvoudig te implementeren en zorgen ze ervoor dat gegevens op betrouwbare wijze worden geleverd waar ze moeten zijn. Voor iedereen die AWS Snow-apparaten overweegt, raden we ten zeerste aan om ze eens te proberen.
Neem contact op met StorageReview
Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Discord | RSS Feed
