邊緣計算的快速增長導致數據生成和收集以前所未有的水平激增。 臨時設施，如科研站、監控系統和工業設施，通常需要快速數據收集和傳輸才能順利運行。 然而，硬件的高成本，加上對可靠和高效數據存儲的需求，可能對這些項目構成重大挑戰。 Amazon AWS Storage Optimized Snowball 與自定義虛擬機相結合，為這個問題提供了一個改變遊戲規則的解決方案。
邊緣計算的快速增長導致數據生成和收集以前所未有的水平激增。 臨時設施，如科研站、監控系統和工業設施，通常需要快速數據收集和傳輸才能順利運行。 然而，硬件的高成本，加上對可靠和高效數據存儲的需求，可能對這些項目構成重大挑戰。 Amazon AWS Storage Optimized Snowball 與自定義虛擬機相結合，為這個問題提供了一個改變遊戲規則的解決方案。
AWS Snowball Edge 有兩種核心設備類型。 Snowball Edge Compute Optimized，具有更多計算（vCPU、DRAM）和 GPU 功能，適用於更高性能的工作負載，以及 Snowball Edge Storage Optimized，具有更多存儲，適用於大規模數據遷移和麵向容量的工作負載。 我們在訂購 Snowball 時的最初要求非常適合 Snowball Edge Storage Optimized 解決方案。
在探索使用 Snowball 移動我們的 100 萬億 Pi 計算 到雲端，我們最終有點過度訂購。 我們訂購了雙 80TB Snowball 並針對數據遷移進行了調整，並且只需要一個。 因此，對於第二個，我們想看看是否可以讓 EC2 實例在遠程設置中運行。 雖然這在發貨前配置 Snowball 時是一個簡單的設置選項，因此客戶會收到一個帶有 EC2 的設備，準備好運行，但在事後在現場重新配置有點棘手，但並非不可能。
請注意，本文將詳細介紹配置 VM 並將其側載到 Snowball 的細節。 如果您想跳到該部分，請單擊此處。
Amazon AWS Storage Optimized Snowball 的背景和概述
Amazon AWS Storage Optimized Snowball 是一種堅固、便攜且安全的數據傳輸解決方案，旨在簡化和加速將大量數據移入和移出 AWS 雲的過程。 這種專用設備專為需要高速數據傳輸和短期邊緣存儲的用例而設計，非常適合臨時安裝或網絡連接受限或無網絡連接的位置。
Storage Optimized Snowball 配備了高級存儲功能、加密和防篡改功能，可確保安全高效的數據遷移，同時與傳統方法相比顯著降低數據傳輸成本。 通過利用這種創新設備，組織可以克服邊緣環境中數據收集和存儲的挑戰，為雲中的無縫數據集成和分析鋪平道路。
Storage Optimized Snowball 擁有多項關鍵功能，使其成為數據傳輸和存儲的強大解決方案：
- 大容量存儲：Storage Optimized Snowball存儲容量高達80TB，可輕鬆應對大規模數據遷移任務，滿足各種用例和數據密集型應用。
- 快速數據傳輸：配備高速 40 Gbps 網絡連接，Snowball 可實現快速高效的數據傳輸，減少數據遷移所需的時間。
- 數據安全：Snowball 使用行業標準加密協議（例如 256 位 AES）來保護傳輸中和靜態數據，確保您的數據在整個遷移過程中的機密性和完整性。
- 堅固耐用的設計：Storage Optimized Snowball 專為承受惡劣環境而設計，採用堅固耐用且耐候的設計，使其適用於各種條件和臨時安裝。
- 邊緣計算能力：Snowball 的內置計算能力允許用戶直接在設備上運行邊緣計算工作負載和處理數據，從而減少延遲並實現實時分析。
- AWS Greengrass 集成：Snowball 預裝了 AWS Greengrass，允許與 AWS Lambda 和其他 AWS 服務無縫集成，從而實現邊緣處理和分析。
- 輕鬆部署和管理：憑藉其直觀且用戶友好的界面，Storage Optimized Snowball 簡化了設備設置、數據傳輸和跟踪的過程，簡化了各種規模組織的數據遷移任務。
與傳統的數據傳輸方法相比，Amazon AWS Storage Optimized Snowball 具有顯著的成本節約和效率優勢。 通過利用 Snowball 的大容量存儲和快速數據傳輸功能，組織可以顯著減少數據遷移所需的時間和帶寬，從而顯著節省時間和資源。
此外，Snowball 堅固耐用的設計和邊緣計算功能消除了對額外硬件投資和現場基礎設施的需求，進一步降低了臨時安裝或邊緣項目的成本。 此外，與 AWS 服務的無縫集成可簡化數據管理和分析，從而提高整體生產力和運營效率。
如前所述，我們訂購了兩台 AWS Snowball Edge Storage Optimized 設備，但亞馬遜的 Snowball 設計為計算量更大，不需要我們即將討論的側載過程。 我們只是有一個“額外”的設備，想看看我們能把它推到設計的舒適窗口之外多少。
將自定義虛擬機旁加載到 Storage Optimized Snowball
我們強烈建議您通讀 亞馬遜官方博客 在這個過程中； 我們此處的步驟基於我們的特定配置以及我們如何執行它。
當 AWS Snowball Edge 於 2016 年首次推出時，想要在設備上運行 Amazon Elastic Compute Cloud (Amazon EC2) 實例的用戶必須在訂購過程中指定 Amazon Machine Image (AMI)。 然後，該設備將支持基於所選 AMI 啟動 Amazon EC2 實例。 但是，為新的工作負載、問題解決或啟用新功能更新 AMI 或切換到不同的 AMI 需要將設備返回 AWS 進行 AMI 更新，然後等待它運回。
此過程已得到簡化。 這裡的一些步驟僅供參考，可以直接從 Amazon 文章中使用，因此我們不會指定細節，但會提供更多清單。
- 在您的工作站上創建一個要加載到 Snowball 的虛擬機。
- 安裝您的管理程序。 我們選擇使用 Amazon 指定的 Oracle VirtualBox。 但是，我們使用的是基於 Windows 的主機，這在過程中存在一些細微差別。
- 安裝您的來賓操作系統。 我們選擇 Ubuntu 22.04 是因為它易於獲取和使用。 安裝後，我們建議進行更新並確保啟用 DHCP，並立即開始測試 SSH/RDP 訪問。
- 選擇磁盤大小時請記住，在後面的步驟中，它將轉換為 RAW 磁盤文件，因此無論您選擇的磁盤大小如何，您都必須將所有空間加載到 Snow 設備。
- 在您的硬盤上找到虛擬磁盤 .vdi 文件，然後使用文件名複製該位置。
- 導航到VirtualBox的安裝文件夾； 對我們來說，它是“C:\
- 使用您之前創建的 .vdi 文件的路徑和此命令作為參考來創建您自己的文件。 （此處為 Windows 版本）
.\VBoxManage.exe clonehd "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.vdi" "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.raw" --format raw
- 將 .raw 圖像加載到 Snow 設備。
- 通過為 VM Import/Export 過程設置 IAM 角色和關聯策略，創建用於圖像導入的 IAM 權限。
- 創建一個 IAM 策略，授予本地 VM 導入/導出服務必要的權限，以便從設備上的 Amazon S3 下載快照。
- 創建策略後，創建一個具有信任策略的 IAM 角色，允許 Snowball VM Import/Export 代入該角色。
- 將之前創建的策略附加到 IAM 角色，使 VM Import/Export 能夠訪問存儲在設備上 S3 存儲桶中的圖像。
- 導入圖像作為快照
- 導航回 Snowball 儀表板頁面，然後在“開始計算”面板上選擇“開始”。
- 選擇“快照”，然後選擇“導入快照”以開始將原始圖像導入為快照。
- 在“導入快照”頁面上，提供所需的描述並指定之前創建的 IAM 角色。
- 瀏覽 S3 以找到並選擇原始圖像文件，然後提交導入請求。
- 快照導入需要幾分鐘才能完成，具體取決於圖像大小。
- 完成後，狀態會顯示“已完成。
- 從快照註冊 AMI
- 要從快照註冊 AMI，請選擇您剛剛創建的快照 ID，然後單擊“註冊映像”。
- 輸入 AMI 的名稱和描述，將根卷設備保留為 /dev/sda1，然後提交。
- 快照現在將註冊為 AMI，允許您從中啟動 EC2 實例。
- 在 Snow 設備上啟動您的 EC2 實例
- 要從您的 AMI 啟動 EC2 實例，請導航回 Snowball 儀表板頁面並選擇“實例”。
- 單擊“啟動實例”並輸入您的 AMI 名稱和所需的實例類型。
- 對於公共 IP 地址分配，選擇創建一個新地址 (VNI)、使用現有地址或根本不分配。
- 關於密鑰對，如果您已經將所需的公鑰添加到圖像或選擇創建/使用現有密鑰對，請選擇不附加密鑰對。
- 單擊“啟動”以初始化您的 EC2 實例。
- 一旦 EC2 實例啟動並運行，就可以像訪問 AWS 中的任何其他 EC2 實例一樣訪問它。
雖然將自定義虛擬機旁加載到 AWS Snowball Edge 等設備的過程可能看起來很複雜且具有挑戰性，但由於它提供的眾多好處，這種努力是非常值得的。 請務必注意，雖然可以在訂購設備後旁加載 AMI，但選擇已加載 AMI 的設備將為您提供一個可以使用的預配置設備。
使用自定義虛擬機進行邊緣數據收集具有幾個顯著優勢。 定制允許組織根據特定用例定制虛擬機，從而優化性能和效率。 通過集成專門的應用程序，組織可以直接在邊緣簡化數據處理和分析，減少延遲並增強實時決策。
這些側載自定義虛擬機提供的更高的靈活性和適應性可以使組織能夠快速響應不斷變化的需求或數據收集要求的意外變化。 通過將自定義虛擬機旁加載到 AWS Snowball Storage Optimized Edge 等邊緣設備中，組織可以充分利用邊緣計算的全部潛力，並有效地管理其在不同環境中的數據收集和處理需求。
在邊緣實施快速數據收集
為數據收集設置 Storage Optimized Snowball 涉及配置設備以處理特定的數據收集任務和要求。 通過利用 Snowball Edge 設備的強大功能，組織可以在具有間歇性連接或遠程位置的環境中收集和處理大量數據。
該設備的塊存儲和與 Amazon S3 兼容的對象存儲使用戶能夠安全地存儲、管理和高效傳輸大量數據。 通過根據項目要求自定義 Snowball Edge，組織可以優化數據收集流程以滿足其獨特的需求和目標。
自定義虛擬機與數據收集工具的集成進一步簡化了邊緣的數據收集過程。 通過整合專門的應用程序或框架，組織可以直接在 Snowball Edge 設備上處理和分析數據，從而減少延遲並增強實時決策。
這種集成允許各種數據收集工具和自定義虛擬機之間的無縫協作，確保高效的數據處理和管理。 此外，優化數據傳輸和與 Amazon S3 的同步使組織能夠受益於 Amazon 雲基礎設施提供的可擴展和安全存儲。
此過程有助於將收集的數據從 Snowball Edge 設備無縫傳輸到 Amazon S3，確保數據可隨時用於進一步分析或長期存儲。 反過來，這會培育一個可靠且高效的數據管理生態系統，支持在邊緣進行快速數據收集和處理。
球鞋網優勢
在許多情況下，Sneaker-net 或使用 Storage Optimized Snowball 等設備物理傳輸數據可能比通過 Internet 傳輸數據更快。 對於帶寬有限、延遲高或連接不可靠的遠程或臨時安裝尤其如此。
示例包括偏遠地區的研究站、臨時活動場所，甚至是災難恢復站點。 通過使用 AWS Snowball 傳輸大量數據，組織可以繞過緩慢或不可靠的互聯網連接的限制，並確保將數據快速安全地傳輸到 Amazon S3 以進行進一步處理和分析。
存儲在 S3 中的數據受益於 AWS 生態系統提供的固有可擴展性和靈活性。 隨著數據量的增長，組織可以輕鬆調整其存儲容量以適應不斷變化的需求，而無需進行昂貴的基礎設施投資。
此外，S3 與廣泛的 AWS 服務無縫集成，例如 Amazon Athena、Amazon Redshift 和 Amazon SageMaker，使組織能夠使用強大的分析和機器學習工具分析、處理數據並從中獲得洞察力。 這種集成最終使組織能夠做出數據驅動的決策，並釋放新的增長和創新機會。
關閉的思考
Amazon AWS Storage Optimized Snowball 與自定義虛擬機結合使用時，可為邊緣的快速數據收集提供功能強大且經濟高效的解決方案。 臨時安裝現在可以有效地收集和存儲大量數據，同時受益於 S3 提供的安全性、可擴展性和易集成性。 通過採用這種創新方法，組織可以顯著降低硬件成本、簡化數據管理並從數據中獲得新的見解。
雖然我們在這個過程中的方法有點落後，但理想情況下您會在訂購時配置 EC2 實例以使生活更輕鬆，很高興知道 AWS 允許其 Snowball 設備具有“創造性的靈活性”。 但實際上，如果工作負載是計算密集型的，AWS 會提供 Snowball Edge Compute Optimized，具有多達 104 個 vCPU、416GB DRAM 和 28TB 閃存。 如果您有分析需求，他們甚至可以提供帶 GPU 的 Snowball。 對於邊緣數據收集，AWS 提供了大量選項，其中的樂趣在於發現哪種 Snow 設備可能適合您。
StorageReview 和 Wayne Duso 的 AWS Snow 播客
參與 StorageReview
電子報 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱
