StorageReview.com

Jak přidat EC2 Boost do zařízení optimalizovaného pro úložiště AWS Snowball Edge

mrak  ◇  Enterprise

Rychlý růst edge computingu vedl k nárůstu generování a sběru dat na nebývalé úrovni. Dočasná zařízení, jako jsou vědeckovýzkumné stanice, systémy sledování a průmyslová zařízení, často vyžadují pro plynulý provoz rychlý sběr a přenos dat. Vysoké náklady na hardware spolu s potřebou spolehlivého a efektivního ukládání dat však mohou pro tyto projekty představovat značné výzvy. Amazon AWS Storage Optimized Snowball v kombinaci s vlastními virtuálními počítači představuje revoluční řešení tohoto problému.

EC2 AWS Snowball Edge Storage Optimalizovaná lesní souprava

AWS Snowball Edge je k dispozici ve dvou základních typech zařízení. Snowball Edge Compute Optimized s větším počtem výpočetních kapacit (vCPU, DRAM) a GPU, vhodný pro úlohy s vyšším výkonem, a Snowball Edge Storage Optimized s větším úložištěm, které je vhodné pro rozsáhlé migrace dat a úlohy zaměřené na kapacitu. Naše původní požadavky při objednávání Snowballů perfektně odpovídaly řešení Snowball Edge Storage Optimized.

Při zkoumání využití Snowballu k přesunu našich výpočtů 100 bilionů Pi do cloudu jsme nakonec objednali trochu více než jen jeden. Objednali jsme dva 80TB Snowbally vyladěné pro migraci dat a potřebovali jsme pouze jeden. U druhého jsme tedy chtěli zjistit, zda bychom mohli zprovoznit instanci EC2 ve vzdáleném prostředí. I když by se jednalo o snadnou možnost nastavení při konfiguraci Snowballu před odesláním, aby zákazník obdržel zařízení s EC2 připraveným k nasazení, je o něco složitější, i když ne nemožné, znovu nakonfigurovat zařízení v terénu po provedení práce.

Pozor, tento článek se zaměří na detaily konfigurace virtuálního počítače a jeho nahrání na Snowball. Pokud chcete přeskočit na tuto část, klikněte sem.

Pozadí a přehled optimalizované sněhové koule pro úložiště Amazon AWS

Amazon AWS Storage Optimized Snowball je robustní, přenosné a bezpečné řešení pro přenos dat, které je navrženo tak, aby zjednodušilo a urychlilo proces přesunu velkých objemů dat do a z cloudu AWS. Toto účelové zařízení je speciálně navrženo pro případy použití vyžadující vysokorychlostní přenosy dat a krátkodobé úložiště na okraji sítě, takže je ideální pro dočasné instalace nebo lokality s omezeným nebo žádným síťovým připojením.

Optimalizované parkoviště EC2 AWS Snowball Edge Storage

Díky pokročilým úložným možnostem, šifrování a funkcím odolným proti neoprávněné manipulaci zajišťuje optimalizované úložiště Snowball bezpečnou a efektivní migraci dat a zároveň výrazně snižuje náklady na přenos dat ve srovnání s tradičními metodami. Využitím tohoto inovativního zařízení mohou organizace překonat problémy se sběrem a ukládáním dat v okrajových prostředích a vydláždit tak cestu pro bezproblémovou integraci a analýzu dat v cloudu.

Storage Optimized Snowball se může pochlubit několika klíčovými funkcemi, díky nimž je výkonným řešením pro přenos a ukládání dat:

  • Vysokokapacitní úložiště: Díky úložné kapacitě až 80 TB dokáže Storage Optimized Snowball snadno zvládnout rozsáhlé úlohy migrace dat a vyhovět tak různým případům užití a datově náročným aplikacím.
  • Rychlý přenos dat: Snowball je vybaven vysokorychlostním síťovým připojením s rychlostí 40 Gb/s a umožňuje rychlý a efektivní přenos dat, čímž zkracuje dobu potřebnou k migraci dat.
  • Zabezpečení dat: Snowball používá standardní šifrovací protokoly (například 256bitový AES) k ochraně dat během přenosu i v klidu, čímž zajišťuje důvěrnost a integritu vašich dat během celého procesu migrace.
  • Robustní konstrukce: Sněhová koule optimalizovaná pro skladování je vyrobena tak, aby odolala náročnému prostředí, a vyznačuje se robustní a povětrnostním vlivům odolnou konstrukcí, díky čemuž je vhodná pro použití v široké škále podmínek a dočasných instalací.
  • Možnosti edge computingu: Vestavěné výpočetní možnosti Snowballu umožňují uživatelům spouštět edge computingové úlohy a zpracovávat data přímo na zařízení, což snižuje latenci a umožňuje analýzu v reálném čase.
  • Integrace s AWS Greengrass: Snowball je dodáván s předinstalovaným AWS Greengrass, což umožňuje bezproblémovou integraci s AWS Lambda a dalšími službami AWS a umožňuje tak zpracování a analýzu na okraji sítě.
  • Snadné nasazení a správa: Díky intuitivnímu a uživatelsky přívětivému rozhraní zjednodušuje Storage Optimized Snowball proces nastavení zařízení, přenosu dat a sledování a zefektivňuje úlohy migrace dat pro organizace všech velikostí.

Řešení Snowball optimalizované pro úložiště Amazon AWS nabízí ve srovnání s tradičními metodami přenosu dat významné úspory nákladů a výhody v oblasti efektivity. Využitím vysokokapacitního úložiště a možností rychlého přenosu dat platformy Snowball mohou organizace dramaticky zkrátit čas a zkrátit šířku pásma potřebnou pro migraci dat, což vede k podstatným úsporám času i zdrojů.

Robustní konstrukce a funkce edge computingu Snowballu navíc eliminují potřebu dodatečných investic do hardwaru a infrastruktury na místě, což dále snižuje náklady na dočasné instalace nebo edge projekty. Bezproblémová integrace se službami AWS navíc umožňuje efektivní správu a analýzu dat, což zvyšuje celkovou produktivitu a provozní efektivitu.

A jak již bylo zmíněno, objednali jsme si dvě zařízení AWS Snowball Edge Storage Optimized, ale Amazon má Snowbally, které jsou navrženy tak, aby byly výpočetně náročnější a nevyžadovaly by proces sideloadingu, o kterém se chystáme mluvit. Prostě jsme měli „navíc“ zařízení a chtěli jsme zjistit, jak moc ho dokážeme posunout mimo jeho navržené komfortní okno.

Boční načítání vlastních virtuálních počítačů do optimalizovaného úložiště (lavinová koule)

Důrazně doporučujeme, abyste si přečetli oficiální blog Amazonu o tomto procesu; naše kroky zde vycházejí z naší konkrétní konfigurace a toho, jak se nám ji podařilo provést.

Když byl AWS Snowball Edge poprvé představen v roce 2016, museli uživatelé, kteří chtěli na zařízení spouštět instance Amazon Elastic Compute Cloud (Amazon EC2), během procesu objednávání specifikovat Amazon Machine Image (AMI). Zařízení by pak podporovalo spouštění instancí Amazon EC2 na základě vybraného AMI. Aktualizace AMI nebo přechod na jiné pro nové úlohy, řešení problémů nebo povolení nových funkcí však vyžadovalo vrácení zařízení do AWS kvůli aktualizaci AMI a následné čekání na jeho zpětné odeslání.

Tento proces byl od té doby zjednodušen. Některé z uvedených kroků slouží pouze pro referenci a lze je použít přímo z článku na Amazonu, takže nebudeme specifikovat podrobnosti, ale poskytneme spíše kontrolní seznam.

  1. Vytvořte na pracovní stanici virtuální počítač, který chcete načíst do Snowballu.
    1. Nainstalujte si hypervizor. Zvolili jsme Oracle VirtualBox dle pokynů Amazonu. Použili jsme však hostitelský počítač s Windows, který má v procesu drobné rozdíly.
    2. Nainstalujte si hostující operační systém. Zvolili jsme Ubuntu 22.04, protože se snadno s ním pracuje. Po instalaci doporučujeme provést aktualizace, ujistit se, že je povoleno DHCP, a začít testovat přístup SSH/RDP.
      1. Při výběru velikosti disku mějte na paměti, že v pozdějším kroku bude disk převeden do formátu RAW, takže ať už je disk velký nebo malý, budete muset veškerý prostor nahrát do zařízení Snow.
    3. Vyhledejte na pevném disku soubor virtuálního disku .vdi a zkopírujte umístění s názvem souboru.
    4. Přejděte do instalační složky VirtualBoxu; v našem případě to byla „C:\Program Files\Oracle\VirtualBox“. Klikněte pravým tlačítkem myši a vyberte „Otevřít okno Powershellu zde“ (další příkazy specifické pro Windows jsou k dispozici v článku na Amazonu).
    5. Pro vytvoření vlastního souboru použijte cestu k souboru .vdi, který jste vytvořili dříve, a tento příkaz. (Verze pro Windows zde)
      1. .\VBoxManage.exe clonehd "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.vdi" "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.raw" --format raw
    6. Načtěte obrázek .raw do zařízení Snow.
    7. Vytvořte oprávnění IAM pro import obrázků nastavením role IAM a souvisejících zásad pro proces importu/exportu virtuálního počítače.

      1. Vytvořte zásadu IAM, která udělí potřebná oprávnění pro lokální službu importu/exportu virtuálních počítačů ke stažení snímku z Amazon S3 na zařízení.
      2. Po vytvoření zásady vytvořte roli IAM se zásadou důvěryhodnosti, která umožní službě Snowball VM Import/Export tuto roli převzít.
      3. Připojte dříve vytvořenou zásadu k roli IAM, čímž umožníte funkci VM Import/Export přístup k obrazu uloženému v úložišti S3 na zařízení.
    8. Importovat obrázek jako snímek
      1. Vraťte se na stránku řídicího panelu Snowball a na panelu „Spustit výpočetní techniku“ vyberte možnost „Začít“.
      2. Vyberte „Snímky“ a poté „Importovat snímek“ pro zahájení importu nezpracovaného obrazu jako snímku.
      3. Na stránce „Importovat snímek“ zadejte požadované popisy a uveďte dříve vytvořenou roli IAM.
      4. Procházejte S3, vyhledejte a vyberte soubor s nezpracovaným obrázkem a poté odešlete požadavek na import.
      5. Import snímku bude trvat několik minut v závislosti na velikosti obrázku.
      6. Po dokončení se zobrazí stav „Dokončeno“.
    9. Zaregistrujte AMI ze snímku
      1. Chcete-li zaregistrovat AMI ze snímku, vyberte ID snímku, který jste právě vytvořili, a klikněte na tlačítko „Registrovat obraz“.
      2. Zadejte název a popis pro AMI, přičemž kořenové zařízení svazku ponechte jako /dev/sda1, a odešlete.
      3. Snímek bude nyní zaregistrován jako AMI, což vám umožní spouštět z něj instance EC2.
    10. Spusťte instanci EC2 na zařízení Snow

      1. Chcete-li spustit instanci EC2 z vašeho AMI, přejděte zpět na stránku dashboardu Snowball a vyberte možnost „Instance“.
      2. Klikněte na „Spustit instanci“ a zadejte název AMI a požadovaný typ instance.
      3. Pro přiřazení veřejné IP adresy zvolte vytvoření nové (VNI), použití existující nebo nepřiřazení žádné.
      4. Pokud jde o pár klíčů, rozhodněte se nepřipojovat pár klíčů, pokud jste již k obrazu přidali požadované veřejné klíče, nebo se rozhodnete vytvořit/použít existující pár klíčů.
      5. Kliknutím na tlačítko „Spustit“ inicializujete instanci EC2.
      6. Jakmile je instance EC2 spuštěná a funkční, přistupujte k ní stejným způsobem jako k jakékoli jiné instanci EC2 v AWS.

I když se proces sideloadingu vlastních virtuálních strojů do zařízení, jako je AWS Snowball Edge, může zdát složitý a náročný, úsilí se vyplatí díky četným výhodám, které nabízí. Je důležité si uvědomit, že ačkoli je možné sideloadovat AMI po objednání zařízení, výběrem zařízení s již načteným AMI získáte předkonfigurované zařízení, které je připraveno k použití.

Využití vlastních virtuálních počítačů pro sběr dat na okraji sítě nabízí několik významných výhod. Přizpůsobení umožňuje organizacím přizpůsobit své virtuální počítače specifickým případům použití, optimalizovat výkon a efektivitu. Integrací specializovaných aplikací mohou organizace zefektivnit zpracování a analýzu dat přímo na okraji sítě, čímž se sníží latence a vylepší rozhodování v reálném čase.

Zvýšená flexibilita a přizpůsobivost, kterou tyto sideloadované vlastní virtuální stroje nabízejí, umožňuje organizacím rychle reagovat na vyvíjející se potřeby nebo neočekávané změny v požadavcích na sběr dat. Díky sideloadu vlastních virtuálních strojů do edge zařízení, jako je AWS Snowball Storage Optimized Edge, mohou organizace plně využít potenciál edge computingu a efektivně spravovat své potřeby v oblasti sběru a zpracování dat v rozmanitých prostředích.

Implementace rychlého sběru dat na okraji sítě

Nastavení úložiště optimalizovaného zařízení Snowball pro sběr dat zahrnuje konfiguraci zařízení pro zpracování specifických úkolů a požadavků na sběr dat. Využitím robustních funkcí zařízení Snowball Edge mohou organizace shromažďovat a zpracovávat velké objemy dat v prostředích s přerušovaným připojením nebo ve vzdálených lokalitách.

Blokové úložiště zařízení a objektové úložiště kompatibilní s Amazon S3 umožňují uživatelům bezpečně ukládat, spravovat a efektivně přenášet obrovské množství dat. Přizpůsobením zařízení Snowball Edge podle požadavků projektu mohou organizace optimalizovat procesy sběru dat tak, aby splňovaly jejich jedinečné potřeby a cíle.

Integrace vlastních virtuálních strojů s nástroji pro sběr dat dále zefektivňuje proces sběru dat na okraji sítě. Začleněním specializovaných aplikací nebo frameworků mohou organizace zpracovávat a analyzovat data přímo na zařízení Snowball Edge, čímž se snižuje latence a zlepšuje rozhodování v reálném čase.

Tato integrace umožňuje bezproblémovou spolupráci mezi různými nástroji pro sběr dat a vlastními virtuálními počítači, což zajišťuje efektivní zpracování a správu dat. Optimalizace přenosu dat a synchronizace s Amazon S3 navíc umožňuje organizacím těžit ze škálovatelného a bezpečného úložiště poskytovaného cloudovou infrastrukturou Amazonu.

Tento proces usnadňuje bezproblémový přenos shromážděných dat ze zařízení Snowball Edge do Amazon S3 a zajišťuje tak jejich snadnou dostupnost pro další analýzu nebo dlouhodobé uložení. To následně podporuje spolehlivý a efektivní ekosystém správy dat, který podporuje rychlý sběr a zpracování dat na okraji sítě.

Výhoda sítě na tenisky

V mnoha scénářích může být Sneaker-net neboli fyzický přenos dat pomocí zařízení, jako je Storage Optimized Snowball, rychlejší než přenos dat přes internet. To platí zejména pro vzdálené nebo dočasné instalace s omezenou šířkou pásma, vysokou latencí nebo nespolehlivým připojením.

Mezi příklady patří výzkumné stanice ve vzdálených lokalitách, dočasná místa konání akcí nebo dokonce místa pro zotavení po havárii. Využitím AWS Snowball k přenosu velkých objemů dat mohou organizace obejít omezení pomalého nebo nespolehlivého internetového připojení a zajistit rychlý a bezpečný přenos dat do Amazon S3 pro další zpracování a analýzu.

Data uložená v S3 těží z inherentní škálovatelnosti a flexibility, kterou nabízí ekosystém AWS. S rostoucími objemy dat mohou organizace snadno přizpůsobit svou úložnou kapacitu měnícím se požadavkům, aniž by musely investovat do nákladné infrastruktury.

S3 se navíc bezproblémově integruje s širokou škálou služeb AWS, jako jsou Amazon Athena, Amazon Redshift a Amazon SageMaker, což organizacím umožňuje analyzovat, zpracovávat a získávat poznatky z dat pomocí výkonných analytických nástrojů a nástrojů strojového učení. Tato integrace v konečném důsledku umožňuje organizacím činit rozhodnutí založená na datech a otevírat nové příležitosti pro růst a inovace.

Závěrečné myšlenky

Řešení Amazon AWS Storage Optimized Snowball v kombinaci s vlastními virtuálními počítači nabízí výkonné a cenově efektivní řešení pro rychlý sběr dat na okraji sítě. Dočasné instalace nyní mohou efektivně shromažďovat a ukládat velké objemy dat a zároveň využívat výhod zabezpečení, škálovatelnosti a snadné integrace, které nabízí S3. Přijetím tohoto inovativního přístupu mohou organizace výrazně snížit náklady na hardware, zefektivnit správu dat a získat nové poznatky ze svých dat.

I když náš přístup k tomuto procesu byl trochu zaostalý, ideálně byste instance EC2 nakonfigurovali již v době objednávky, aby se vám to usnadnilo, je dobré vědět, že AWS umožňuje „kreativní flexibilitu“ se svými zařízeními Snowball. Pokud je ale pracovní zátěž výpočetně náročná, AWS nabízí Snowball Edge Compute Optimized s až 104 vCPU, 416 GB DRAM a 28 TB flash paměti. A pokud potřebujete analytické služby, nabízejí dokonce i Snowball s GPU. Pro sběr dat na okraji sítě nabízí AWS spoustu možností a součástí zábavy je objevování, které zařízení Snow by pro vás mohlo být to pravé.

Podcast AWS Snow se StorageReview a Waynem Duso

Zapojte se do StorageReview

Zpravodaj | YouTube | Podcast iTunes / Spotify | Instagram | Twitter | TikTok | RSS kanál

Jordan Ranous

Specialista na umělou inteligenci; provede vás světem podnikové umělé inteligence. Autor a analytik pro Storage Review s praxí v oblasti analýzy velkých finančních dat, provozu/vývoje v datových centrech a analýzy zákaznické zkušenosti. Pilot, astrofotograf, guru pro LTO pásky a nadšenec pro baterie/solární energii.