O rápido crescimento da computação de ponta levou a um aumento na geração e coleta de dados em níveis sem precedentes. Instalações temporárias, como estações de pesquisa científica, sistemas de vigilância e instalações industriais, muitas vezes exigem coleta e transferência rápida de dados para operações tranquilas. No entanto, o alto custo do hardware, juntamente com a necessidade de armazenamento de dados confiável e eficiente, pode representar desafios significativos para esses projetos. O Amazon AWS Storage Optimized Snowball, combinado com máquinas virtuais personalizadas, apresenta uma solução revolucionária para esse problema.

O rápido crescimento da computação de ponta levou a um aumento na geração e coleta de dados em níveis sem precedentes. Instalações temporárias, como estações de pesquisa científica, sistemas de vigilância e instalações industriais, muitas vezes exigem coleta e transferência rápida de dados para operações tranquilas. No entanto, o alto custo do hardware, juntamente com a necessidade de armazenamento de dados confiável e eficiente, pode representar desafios significativos para esses projetos. O Amazon AWS Storage Optimized Snowball, combinado com máquinas virtuais personalizadas, apresenta uma solução revolucionária para esse problema.

O AWS Snowball Edge está disponível em dois tipos de dispositivos principais. Snowball Edge Compute Optimized, com mais recursos de computação (vCPUs, DRAM) e GPU, adequado para cargas de trabalho de maior desempenho, e Snowball Edge Storage Optimized, com mais armazenamento, adequado para migrações de dados em grande escala e cargas de trabalho orientadas à capacidade. Nossos requisitos iniciais ao solicitar Snowballs foram perfeitos para a solução Snowball Edge Storage Optimized.

Ao explorar o uso do Snowball para mover nosso Computação de 100 trilhões de Pi para a nuvem, acabamos exagerando um pouco. Pedimos Snowballs gêmeos de 80 TB ajustados para migração de dados e precisávamos apenas de um. Assim, com o segundo, queríamos ver se poderíamos obter uma instância do EC2 operacional em um ambiente remoto. Embora essa seja uma opção de configuração fácil ao configurar o Snowball antes do envio para que o cliente receba um dispositivo com EC2 pronto para uso, é um pouco mais complicado, embora não impossível, reconfigurar em campo após o fato.

Atenção, este artigo entrará no âmago da questão de configurar uma VM e carregá-la no Snowball. Se você quiser pular para essa seção, clique aqui.

Histórico e visão geral do Snowball otimizado para armazenamento da Amazon AWS

O Amazon AWS Storage Optimized Snowball é uma solução de transferência de dados robusta, portátil e segura projetada para simplificar e acelerar o processo de movimentação de grandes volumes de dados de e para a Nuvem AWS. Este dispositivo específico foi projetado especificamente para casos de uso que exigem transferências de dados em alta velocidade e armazenamento de borda de curto prazo, tornando-o ideal para instalações temporárias ou locais com conectividade de rede limitada ou inexistente.

Equipado com recursos avançados de armazenamento, criptografia e recursos resistentes a adulterações, o Snowball otimizado para armazenamento garante uma migração de dados segura e eficiente, ao mesmo tempo em que reduz significativamente os custos de transferência de dados em comparação com os métodos tradicionais. Ao aproveitar esse dispositivo inovador, as organizações podem superar os desafios de coleta e armazenamento de dados em ambientes periféricos, abrindo caminho para integração e análise de dados perfeitas na nuvem.

O Snowball otimizado para armazenamento possui vários recursos importantes que o tornam uma solução poderosa para transferência e armazenamento de dados:

• Armazenamento de alta capacidade: com capacidades de armazenamento de até 80 TB, o Snowball otimizado para armazenamento pode lidar facilmente com tarefas de migração de dados em grande escala, atendendo a vários casos de uso e aplicativos com uso intensivo de dados.
• Transferência rápida de dados: Equipado com conexões de rede de alta velocidade de 40 Gbps, o Snowball permite transferências de dados rápidas e eficientes, reduzindo o tempo necessário para migração de dados.
• Segurança de dados: o Snowball usa protocolos de criptografia padrão do setor (como AES de 256 bits) para proteger dados em trânsito e em repouso, garantindo a confidencialidade e integridade de seus dados durante todo o processo de migração.
• Design robusto: Construído para suportar ambientes hostis, o Snowball otimizado para armazenamento apresenta um design robusto e resistente a intempéries, tornando-o adequado para uso em uma ampla variedade de condições e instalações temporárias.
• Recursos de computação de borda: os recursos de computação integrados do Snowball permitem que os usuários executem cargas de trabalho de computação de borda e processem dados diretamente no dispositivo, reduzindo a latência e permitindo análises em tempo real.
• Integração do AWS Greengrass: o Snowball vem pré-instalado com o AWS Greengrass, permitindo uma integração perfeita com o AWS Lambda e outros serviços da AWS, permitindo processamento e análise de ponta.
• Implantação e gerenciamento fáceis: com sua interface intuitiva e fácil de usar, o Storage Optimized Snowball simplifica o processo de configuração do dispositivo, transferência de dados e rastreamento, simplificando as tarefas de migração de dados para organizações de todos os tamanhos.

O Amazon AWS Storage Optimized Snowball oferece benefícios significativos de economia e eficiência em comparação com os métodos tradicionais de transferência de dados. Ao utilizar o armazenamento de alta capacidade e os recursos de transferência rápida de dados do Snowball, as organizações podem reduzir drasticamente o tempo e a largura de banda necessários para a migração de dados, resultando em economias substanciais de tempo e recursos.

Além disso, o design robusto e os recursos de computação de borda do Snowball eliminam a necessidade de investimentos adicionais em hardware e infraestrutura no local, reduzindo ainda mais os custos de instalações temporárias ou projetos de borda. Além disso, a integração perfeita com os serviços da AWS permite gerenciamento e análise simplificados de dados, aprimorando a produtividade geral e a eficiência operacional.

E, como mencionado anteriormente, pedimos dois dos dispositivos AWS Snowball Edge Storage Optimized, mas a Amazon tem Snowballs projetados para serem mais pesados ​​em computação e não exigiriam o processo de sideload que estamos prestes a discutir. Simplesmente tínhamos um dispositivo “extra” e queríamos ver o quanto poderíamos empurrá-lo para fora de sua janela de conforto projetada.

Sideload de máquinas virtuais personalizadas para Snowball otimizado para armazenamento

Sugerimos fortemente que você leia blog oficial da Amazon neste processo; nossas etapas aqui são baseadas em nossa configuração específica e como conseguimos executá-la.

Quando o AWS Snowball Edge foi introduzido pela primeira vez em 2016, os usuários que desejavam executar instâncias do Amazon Elastic Compute Cloud (Amazon EC2) no dispositivo precisavam especificar uma Amazon Machine Image (AMI) durante o processo de pedido. O dispositivo suportaria a inicialização de instâncias do Amazon EC2 com base na AMI selecionada. No entanto, atualizar uma AMI ou mudar para uma diferente para novas cargas de trabalho, resolução de problemas ou habilitar novos recursos exigia a devolução do dispositivo à AWS para a atualização da AMI e, em seguida, aguardar o envio de volta.

Desde então, esse processo foi simplificado. Algumas das etapas aqui são apenas para referência e podem ser usadas diretamente da peça da Amazon, portanto, não especificaremos os detalhes, mas forneceremos mais uma lista de verificação.

1. Crie uma VM em sua estação de trabalho que deseja carregar no Snowball.
   1. Instale seu hipervisor. Optamos por usar o Oracle VirtualBox conforme especificado pela Amazon. No entanto, usamos um host baseado no Windows, que apresenta algumas pequenas diferenças no processo.
   2. Instale seu sistema operacional convidado. Escolhemos o Ubuntu 22.04 porque era fácil de obter e trabalhar. Depois de instalado, sugerimos fazer atualizações e garantir que o DHCP esteja ativado e comece a testar o acesso SSH/RDP agora.
      1. Lembre-se de que, ao selecionar um tamanho de disco, em uma etapa posterior, ele será convertido em um arquivo de disco RAW;
   3. Localize o arquivo .vdi do disco virtual em seu disco rígido e copie o local com o nome do arquivo.
   4. Navegue até a pasta de instalação do VirtualBox; para nós, era “C:\Program Files\Oracle\VirtualBox” Clique com o botão direito, “Open Powershell Window Here” (outros comandos específicos do Windows disponíveis no artigo da Amazon)
   5. Use o caminho do arquivo .vdi que você criou anteriormente e este comando como referência para fazer o seu próprio. (Versão Windows aqui)
      1. .\VBoxManage.exe clonehd "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.vdi" "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.raw" --format raw
   6. Carregue a imagem .raw no Snow Device.
      
   7. Crie permissões IAM para importação de imagens configurando uma função IAM e uma política associada para o processo VM Import/Export.
      
      1. Crie uma política IAM concedendo as permissões necessárias para o serviço de importação/exportação de VM local para baixar o instantâneo do Amazon S3 no dispositivo.
      2. Depois de criar a política, crie uma função do IAM com uma política de confiança, permitindo que o Snowball VM Import/Export assuma a função.
      3. Anexe a política criada anteriormente à função do IAM, permitindo que o VM Import/Export acesse a imagem armazenada no bucket do S3 no dispositivo.
   8. Importar imagem como instantâneo
      1. Navegue de volta para a página do painel do Snowball e selecione “Começar” no painel “Iniciar a computação”.
      2. Escolha “Snapshots” e depois “Import snapshot” para começar a importar a imagem bruta como um instantâneo.
      3. Na página “Import snapshot”, forneça as descrições necessárias e especifique a função IAM criada anteriormente.
      4. Navegue pelo S3 para localizar e selecionar o arquivo de imagem bruta e, em seguida, envie a solicitação de importação.
      5. A importação do instantâneo levará alguns minutos para ser concluída, dependendo do tamanho da imagem.
      6. Após a conclusão, o estado exibirá “Concluído.
   9. Registrar uma AMI do snapshot
      1. Para registrar uma AMI do snapshot, selecione o ID do snapshot que você acabou de criar e clique em “Registrar imagem”.
      2. Insira um nome e uma descrição para a AMI, mantendo o dispositivo de volume raiz como /dev/sda1 e envie.
      3. O instantâneo agora será registrado como uma AMI, permitindo que você execute instâncias do EC2 a partir dele.
   10. Inicie sua instância do EC2 no dispositivo Snow
       
       1. Para iniciar uma instância do EC2 a partir de sua AMI, volte para a página do painel do Snowball e selecione “Instâncias”.
       2. Clique em “Iniciar instância” e insira o nome da AMI e o tipo de instância desejado.
       3. Para atribuição de endereço IP público, escolha criar um novo (VNI), usar um existente ou não atribuir nenhum.
       4. Em relação ao par de chaves, opte por não anexar um par de chaves se você já adicionou as chaves públicas necessárias à imagem ou opte por criar/usar um par de chaves existente.
       5. Clique em “Iniciar” para inicializar sua instância do EC2.
       6. Depois que a instância do EC2 estiver funcionando, acesse-a da mesma forma que qualquer outra instância do EC2 na AWS.

Embora o processo de sideload de máquinas virtuais personalizadas em dispositivos como o AWS Snowball Edge possa parecer complexo e desafiador, o esforço vale a pena devido aos inúmeros benefícios que oferece. É importante observar que, embora seja possível carregar uma AMI depois de solicitar o dispositivo, optar pelo dispositivo com a AMI já carregada fornecerá a você um dispositivo pré-configurado pronto para uso.

A utilização de máquinas virtuais personalizadas para coleta de dados de borda oferece várias vantagens significativas. A personalização permite que as organizações adaptem suas máquinas virtuais a casos de uso específicos, otimizando o desempenho e a eficiência. Ao integrar aplicativos especializados, as organizações podem simplificar o processamento e a análise de dados diretamente na borda, reduzindo a latência e aprimorando a tomada de decisões em tempo real.

A maior flexibilidade e adaptabilidade que essas máquinas virtuais personalizadas de sideload oferecem podem permitir que as organizações respondam rapidamente às necessidades em evolução ou mudanças inesperadas em seus requisitos de coleta de dados. Ao fazer o sideload de máquinas virtuais personalizadas em dispositivos de ponta, como AWS Snowball Storage Optimized Edge, as organizações podem aproveitar todo o potencial da computação de borda e gerenciar com eficiência suas necessidades de coleta e processamento de dados em diversos ambientes.

Implementando a coleta rápida de dados na borda

A configuração de um Snowball otimizado para armazenamento para coleta de dados envolve a configuração do dispositivo para lidar com tarefas e requisitos específicos de coleta de dados. Aproveitando os recursos robustos do dispositivo Snowball Edge, as organizações podem coletar e processar grandes volumes de dados em ambientes com conectividade intermitente ou locais remotos.

O armazenamento de blocos do dispositivo e o armazenamento de objetos compatível com Amazon S3 permitem que os usuários armazenem, gerenciem e transfiram grandes quantidades de dados com eficiência. Ao personalizar o Snowball Edge de acordo com os requisitos do projeto, as organizações podem otimizar os processos de coleta de dados para atender às suas necessidades e objetivos exclusivos.

A integração de máquinas virtuais personalizadas com ferramentas de coleta de dados simplifica ainda mais o processo de coleta de dados na borda. Ao incorporar aplicativos ou estruturas especializadas, as organizações podem processar e analisar dados diretamente no dispositivo Snowball Edge, reduzindo a latência e aprimorando a tomada de decisões em tempo real.

Essa integração permite a colaboração perfeita entre várias ferramentas de coleta de dados e máquinas virtuais personalizadas, garantindo processamento e gerenciamento de dados eficientes. Além disso, otimizar a transferência e sincronização de dados com o Amazon S3 permite que as organizações se beneficiem do armazenamento escalável e seguro fornecido pela infraestrutura de nuvem da Amazon.

Esse processo facilita a transferência contínua dos dados coletados do dispositivo Snowball Edge para o Amazon S3, garantindo que os dados estejam prontamente disponíveis para análise posterior ou armazenamento de longo prazo. Por sua vez, isso promove um ecossistema de gerenciamento de dados confiável e eficiente que oferece suporte à coleta e processamento rápidos de dados na borda.

Vantagem da rede de tênis

Em muitos cenários, o Sneaker-net, ou a transferência física de dados usando dispositivos como o Snowball otimizado para armazenamento, pode ser mais rápido do que a transferência de dados pela Internet. Isso é especialmente verdadeiro para instalações remotas ou temporárias com largura de banda limitada, alta latência ou conectividade não confiável.

Os exemplos incluem estações de pesquisa em locais remotos, locais de eventos temporários ou até mesmo locais de recuperação de desastres. Ao usar o AWS Snowball para transportar grandes volumes de dados, as organizações podem contornar as restrições de conexões de internet lentas ou não confiáveis ​​e garantir que os dados sejam transferidos de forma rápida e segura para o Amazon S3 para processamento e análise adicionais.

Os dados armazenados no S3 se beneficiam da escalabilidade e flexibilidade inerentes oferecidas pelo ecossistema da AWS. À medida que os volumes de dados aumentam, as organizações podem ajustar facilmente sua capacidade de armazenamento para acomodar requisitos em constante mudança sem a necessidade de investimentos dispendiosos em infraestrutura.

Além disso, o S3 se integra perfeitamente a uma ampla gama de serviços da AWS, como Amazon Athena, Amazon Redshift e Amazon SageMaker, permitindo que as organizações analisem, processem e obtenham insights de seus dados usando poderosas ferramentas de análise e aprendizado de máquina. Essa integração, em última análise, capacita as organizações a tomar decisões baseadas em dados e desbloquear novas oportunidades de crescimento e inovação.

Pensamentos de Encerramento

O Amazon AWS Storage Optimized Snowball, quando combinado com máquinas virtuais personalizadas, oferece uma solução poderosa e econômica para coleta rápida de dados na borda. As instalações temporárias agora podem coletar e armazenar com eficiência grandes volumes de dados enquanto se beneficiam da segurança, escalabilidade e facilidade de integração oferecidas pelo S3. Ao adotar essa abordagem inovadora, as organizações podem reduzir significativamente os custos de hardware, simplificar o gerenciamento de dados e obter novos insights de seus dados.

Embora nossa abordagem desse processo fosse um pouco retrógrada, o ideal seria configurar as instâncias do EC2 no momento do pedido para facilitar a vida, mas é bom saber que a AWS permite “flexibilidade criativa” com seus dispositivos Snowball. Realmente, porém, se a carga de trabalho for de computação intensiva, a AWS oferece o Snowball Edge Compute Optimized com até 104 vCPUs, 416 GB de DRAM e 28 TB de flash. E se você precisar de análise, eles ainda oferecem Snowballs com GPUs. Para a coleta de dados de borda, a AWS oferece inúmeras opções e parte da diversão é descobrir qual dispositivo Snow pode ser adequado para você.

AWS Snow Podcast com StorageReview e Wayne Duso

Envolva-se com a StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed