边缘计算的快速增长导致数据生成和收集以前所未有的水平激增。 临时设施，如科研站、监控系统和工业设施，通常需要快速数据收集和传输才能顺利运行。 然而，硬件的高成本，加上对可靠和高效数据存储的需求，可能对这些项目构成重大挑战。 Amazon AWS Storage Optimized Snowball 与自定义虚拟机相结合，为这个问题提供了一个改变游戏规则的解决方案。
边缘计算的快速增长导致数据生成和收集以前所未有的水平激增。 临时设施，如科研站、监控系统和工业设施，通常需要快速数据收集和传输才能顺利运行。 然而，硬件的高成本，加上对可靠和高效数据存储的需求，可能对这些项目构成重大挑战。 Amazon AWS Storage Optimized Snowball 与自定义虚拟机相结合，为这个问题提供了一个改变游戏规则的解决方案。
AWS Snowball Edge 有两种核心设备类型。 Snowball Edge Compute Optimized，具有更多计算（vCPU、DRAM）和 GPU 功能，适用于更高性能的工作负载，以及 Snowball Edge Storage Optimized，具有更多存储，适用于大规模数据迁移和面向容量的工作负载。 我们在订购 Snowball 时的最初要求非常适合 Snowball Edge Storage Optimized 解决方案。
在探索使用 Snowball 移动我们的 100 万亿 Pi 计算 到云端，我们最终有点过度订购。 我们订购了双 80TB Snowball 并针对数据迁移进行了调整，并且只需要一个。 因此，对于第二个，我们想看看是否可以让 EC2 实例在远程设置中运行。 虽然在装运前配置 Snowball 时这是一个简单的设置选项，因此客户会收到一个带有 EC2 的设备，准备好运行，但在事后在现场重新配置有点棘手，但并非不可能。
请注意，本文将详细介绍配置 VM 并将其侧载到 Snowball 的细节。 如果您想跳到该部分，请单击此处。
Amazon AWS Storage Optimized Snowball 的背景和概述
Amazon AWS Storage Optimized Snowball 是一种坚固、便携且安全的数据传输解决方案，旨在简化和加速将大量数据移入和移出 AWS 云的过程。 这种专用设备专为需要高速数据传输和短期边缘存储的用例而设计，非常适合临时安装或网络连接受限或无网络连接的位置。
Storage Optimized Snowball 配备了高级存储功能、加密和防篡改功能，可确保安全高效的数据迁移，同时与传统方法相比显着降低数据传输成本。 通过利用这种创新设备，组织可以克服边缘环境中数据收集和存储的挑战，为云中的无缝数据集成和分析铺平道路。
Storage Optimized Snowball 拥有多项关键功能，使其成为数据传输和存储的强大解决方案：
- 大容量存储：Storage Optimized Snowball存储容量高达80TB，可轻松应对大规模数据迁移任务，满足各种用例和数据密集型应用。
- 快速数据传输：配备高速 40 Gbps 网络连接，Snowball 可实现快速高效的数据传输，减少数据迁移所需的时间。
- 数据安全：Snowball 使用行业标准加密协议（例如 256 位 AES）来保护传输中和静态数据，确保您的数据在整个迁移过程中的机密性和完整性。
- 坚固耐用的设计：Storage Optimized Snowball 专为承受恶劣环境而设计，采用坚固耐用且耐候的设计，使其适用于各种条件和临时安装。
- 边缘计算能力：Snowball 的内置计算能力允许用户直接在设备上运行边缘计算工作负载和处理数据，从而减少延迟并实现实时分析。
- AWS Greengrass 集成：Snowball 预装了 AWS Greengrass，允许与 AWS Lambda 和其他 AWS 服务无缝集成，从而实现边缘处理和分析。
- 轻松部署和管理：凭借其直观且用户友好的界面，Storage Optimized Snowball 简化了设备设置、数据传输和跟踪的过程，简化了各种规模组织的数据迁移任务。
与传统的数据传输方法相比，Amazon AWS Storage Optimized Snowball 具有显着的成本节约和效率优势。 通过利用 Snowball 的大容量存储和快速数据传输功能，组织可以显着减少数据迁移所需的时间和带宽，从而显着节省时间和资源。
此外，Snowball 坚固耐用的设计和边缘计算功能消除了对额外硬件投资和现场基础设施的需求，进一步降低了临时安装或边缘项目的成本。 此外，与 AWS 服务的无缝集成可简化数据管理和分析，从而提高整体生产力和运营效率。
如前所述，我们订购了两台 AWS Snowball Edge Storage Optimized 设备，但亚马逊的 Snowball 设计为计算量更大，不需要我们即将讨论的侧载过程。 我们只是有一个“额外”的设备，想看看我们能把它推到设计的舒适窗口之外多少。
将自定义虚拟机旁加载到 Storage Optimized Snowball
我们强烈建议您通读 亚马逊官方博客 在这个过程中； 我们此处的步骤基于我们的特定配置以及我们如何执行它。
当 AWS Snowball Edge 于 2016 年首次推出时，想要在设备上运行 Amazon Elastic Compute Cloud (Amazon EC2) 实例的用户必须在订购过程中指定 Amazon Machine Image (AMI)。 然后，该设备将支持基于所选 AMI 启动 Amazon EC2 实例。 但是，为新的工作负载、问题解决或启用新功能更新 AMI 或切换到不同的 AMI 需要将设备返回 AWS 进行 AMI 更新，然后等待它运回。
此过程已得到简化。 这里的一些步骤仅供参考，可以直接从 Amazon 文章中使用，因此我们不会指定细节，但会提供更多清单。
- 在您的工作站上创建一个要加载到 Snowball 的虚拟机。
- 安装您的管理程序。 我们选择使用 Amazon 指定的 Oracle VirtualBox。 但是，我们使用的是基于 Windows 的主机，这在过程中存在一些细微差别。
- 安装您的来宾操作系统。 我们选择 Ubuntu 22.04 是因为它易于获取和使用。 安装后，我们建议进行更新并确保启用 DHCP，并立即开始测试 SSH/RDP 访问。
- 选择磁盘大小时请记住，在后面的步骤中，它将转换为 RAW 磁盘文件，因此无论您选择的磁盘大小如何，您都必须将所有空间加载到 Snow 设备。
- 在您的硬盘上找到虚拟磁盘 .vdi 文件，然后使用文件名复制该位置。
- 导航到VirtualBox的安装文件夹； 对我们来说，它是“C:\
- 使用您之前创建的 .vdi 文件的路径和此命令作为参考来创建您自己的文件。 （此处为 Windows 版本）
.\VBoxManage.exe clonehd "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.vdi" "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.raw" --format raw
- 将 .raw 图像加载到 Snow 设备。
- 通过为 VM Import/Export 过程设置 IAM 角色和关联策略，创建用于图像导入的 IAM 权限。
- 创建一个 IAM 策略，授予本地 VM 导入/导出服务必要的权限，以便从设备上的 Amazon S3 下载快照。
- 创建策略后，创建一个具有信任策略的 IAM 角色，允许 Snowball VM Import/Export 代入该角色。
- 将之前创建的策略附加到 IAM 角色，使 VM Import/Export 能够访问存储在设备上 S3 存储桶中的图像。
- 导入图像作为快照
- 导航回 Snowball 仪表板页面，然后在“开始计算”面板上选择“开始”。
- 选择“快照”，然后选择“导入快照”以开始将原始图像导入为快照。
- 在“导入快照”页面上，提供所需的描述并指定之前创建的 IAM 角色。
- 浏览 S3 以找到并选择原始图像文件，然后提交导入请求。
- 快照导入需要几分钟才能完成，具体取决于图像大小。
- 完成后，状态会显示“已完成。
- 从快照注册 AMI
- 要从快照注册 AMI，请选择您刚刚创建的快照 ID，然后单击“注册映像”。
- 输入 AMI 的名称和描述，将根卷设备保留为 /dev/sda1，然后提交。
- 快照现在将注册为 AMI，允许您从中启动 EC2 实例。
- 在 Snow 设备上启动您的 EC2 实例
- 要从您的 AMI 启动 EC2 实例，请导航回 Snowball 仪表板页面并选择“实例”。
- 单击“启动实例”并输入您的 AMI 名称和所需的实例类型。
- 对于公共 IP 地址分配，选择创建一个新地址 (VNI)、使用现有地址或根本不分配。
- 关于密钥对，如果您已经将所需的公钥添加到图像或选择创建/使用现有密钥对，请选择不附加密钥对。
- 单击“启动”以初始化您的 EC2 实例。
- 一旦 EC2 实例启动并运行，就可以像访问 AWS 中的任何其他 EC2 实例一样访问它。
虽然将自定义虚拟机旁加载到 AWS Snowball Edge 等设备的过程可能看起来很复杂且具有挑战性，但由于它提供的众多好处，这种努力是非常值得的。 请务必注意，虽然可以在订购设备后旁加载 AMI，但选择已加载 AMI 的设备将为您提供一个可以使用的预配置设备。
使用自定义虚拟机进行边缘数据收集具有几个显着优势。 定制允许组织根据特定用例定制虚拟机，从而优化性能和效率。 通过集成专门的应用程序，组织可以直接在边缘简化数据处理和分析，减少延迟并增强实时决策。
这些侧载自定义虚拟机提供的更高的灵活性和适应性可以使组织能够快速响应不断变化的需求或数据收集要求的意外变化。 通过将自定义虚拟机旁加载到 AWS Snowball Storage Optimized Edge 等边缘设备中，组织可以充分利用边缘计算的全部潜力，并有效地管理其在不同环境中的数据收集和处理需求。
在边缘实施快速数据收集
为数据收集设置 Storage Optimized Snowball 涉及配置设备以处理特定的数据收集任务和要求。 通过利用 Snowball Edge 设备的强大功能，组织可以在具有间歇性连接或远程位置的环境中收集和处理大量数据。
该设备的块存储和与 Amazon S3 兼容的对象存储使用户能够安全地存储、管理和高效传输大量数据。 通过根据项目要求自定义 Snowball Edge，组织可以优化数据收集流程以满足其独特的需求和目标。
自定义虚拟机与数据收集工具的集成进一步简化了边缘的数据收集过程。 通过整合专门的应用程序或框架，组织可以直接在 Snowball Edge 设备上处理和分析数据，从而减少延迟并增强实时决策。
这种集成允许各种数据收集工具和自定义虚拟机之间的无缝协作，确保高效的数据处理和管理。 此外，优化数据传输和与 Amazon S3 的同步使组织能够受益于 Amazon 云基础设施提供的可扩展和安全存储。
此过程有助于将收集的数据从 Snowball Edge 设备无缝传输到 Amazon S3，确保数据可随时用于进一步分析或长期存储。 反过来，这会培育一个可靠且高效的数据管理生态系统，支持在边缘进行快速数据收集和处理。
球鞋网优势
在许多情况下，Sneaker-net 或使用 Storage Optimized Snowball 等设备物理传输数据可能比通过 Internet 传输数据更快。 对于带宽有限、延迟高或连接不可靠的远程或临时安装尤其如此。
示例包括偏远地区的研究站、临时活动场所，甚至是灾难恢复站点。 通过使用 AWS Snowball 传输大量数据，组织可以绕过缓慢或不可靠的互联网连接的限制，并确保将数据快速安全地传输到 Amazon S3 以进行进一步处理和分析。
存储在 S3 中的数据受益于 AWS 生态系统提供的固有可扩展性和灵活性。 随着数据量的增长，组织可以轻松调整其存储容量以适应不断变化的需求，而无需进行昂贵的基础设施投资。
此外，S3 与广泛的 AWS 服务无缝集成，例如 Amazon Athena、Amazon Redshift 和 Amazon SageMaker，使组织能够使用强大的分析和机器学习工具分析、处理数据并从中获得洞察力。 这种集成最终使组织能够做出数据驱动的决策，并释放新的增长和创新机会。
关闭的思考
Amazon AWS Storage Optimized Snowball 与自定义虚拟机结合使用时，可为边缘的快速数据收集提供功能强大且经济高效的解决方案。 临时安装现在可以有效地收集和存储大量数据，同时受益于 S3 提供的安全性、可扩展性和易集成性。 通过采用这种创新方法，组织可以显着降低硬件成本、简化数据管理并从数据中获得新的见解。
虽然我们在这个过程中的方法有点落后，但理想情况下您会在订购时配置 EC2 实例以使生活更轻松，很高兴知道 AWS 允许其 Snowball 设备具有“创造性的灵活性”。 但实际上，如果工作负载是计算密集型的，AWS 会提供 Snowball Edge Compute Optimized，具有多达 104 个 vCPU、416GB DRAM 和 28TB 闪存。 如果您有分析需求，他们甚至可以提供带 GPU 的 Snowball。 对于边缘数据收集，AWS 提供了大量选项，其中的乐趣在于发现哪种 Snow 设备可能适合您。
StorageReview 和 Wayne Duso 的 AWS Snow 播客
参与 StorageReview
电子报 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | TikTok | RSS订阅
