에지 컴퓨팅의 급속한 성장으로 인해 전례 없는 수준의 데이터 생성 및 수집이 급증했습니다. 과학 연구 스테이션, 감시 시스템 및 산업 시설과 같은 임시 설치는 원활한 운영을 위해 신속한 데이터 수집 및 전송이 필요한 경우가 많습니다. 그러나 높은 하드웨어 비용과 안정적이고 효율적인 데이터 스토리지의 필요성이 결합되어 이러한 프로젝트에 상당한 문제가 될 수 있습니다. 맞춤형 가상 머신과 결합된 Amazon AWS Storage Optimized Snowball은 이 문제에 대한 판도를 바꾸는 솔루션을 제시합니다.
에지 컴퓨팅의 급속한 성장으로 인해 전례 없는 수준의 데이터 생성 및 수집이 급증했습니다. 과학 연구 스테이션, 감시 시스템 및 산업 시설과 같은 임시 설치는 원활한 운영을 위해 신속한 데이터 수집 및 전송이 필요한 경우가 많습니다. 그러나 높은 하드웨어 비용과 안정적이고 효율적인 데이터 스토리지의 필요성이 결합되어 이러한 프로젝트에 상당한 문제가 될 수 있습니다. 맞춤형 가상 머신과 결합된 Amazon AWS Storage Optimized Snowball은 이 문제에 대한 판도를 바꾸는 솔루션을 제시합니다.
AWS Snowball Edge는 두 가지 핵심 장치 유형으로 제공됩니다. 더 많은 컴퓨팅(vCPU, DRAM) 및 GPU 기능을 갖춘 Snowball Edge Compute Optimized는 고성능 워크로드에 적합하며 Snowball Edge Storage Optimized는 대규모 데이터 마이그레이션 및 용량 중심 워크로드에 적합한 더 많은 스토리지를 갖추고 있습니다. Snowball 주문 시 초기 요구 사항은 Snowball Edge Storage Optimized 솔루션에 완벽하게 맞았습니다.
Snowball을 사용하여 우리의 100조 Pi 계산 클라우드로, 우리는 결국 약간 과잉 주문을 했습니다. 데이터 마이그레이션을 위해 조정된 80TB Snowball 2개를 주문했는데 하나만 필요했습니다. 그래서 두 번째로 우리는 원격 설정에서 작동하는 EC2 인스턴스를 얻을 수 있는지 확인하고 싶었습니다. 이는 배송 전에 Snowball을 구성하여 고객이 ECXNUMX가 장착된 어플라이언스를 받을 수 있도록 쉽게 설정할 수 있지만 불가능하지는 않지만 사실 이후에 현장에서 재구성하는 것이 조금 더 까다롭습니다.
이 기사에서는 VM을 구성하고 Snowball에 사이드로드하는 방법에 대해 자세히 설명합니다. 해당 섹션으로 건너뛰려면 여기를 클릭하십시오.
Amazon AWS Storage Optimized Snowball의 배경 및 개요
Amazon AWS Storage Optimized Snowball은 AWS 클라우드에서 대량의 데이터를 이동하는 프로세스를 단순화하고 가속화하도록 설계된 견고하고 휴대 가능하며 안전한 데이터 전송 솔루션입니다. 특별히 제작된 이 장치는 고속 데이터 전송 및 단기 에지 스토리지가 필요한 사용 사례를 위해 특별히 설계되어 임시 설치 또는 네트워크 연결이 제한되거나 없는 위치에 이상적입니다.
고급 스토리지 기능, 암호화 및 변조 방지 기능을 갖춘 Storage Optimized Snowball은 안전하고 효율적인 데이터 마이그레이션을 보장하는 동시에 기존 방법에 비해 데이터 전송 비용을 크게 절감합니다. 이 혁신적인 어플라이언스를 활용함으로써 조직은 에지 환경에서 데이터 수집 및 저장 문제를 극복하고 클라우드에서 원활한 데이터 통합 및 분석을 위한 길을 열 수 있습니다.
스토리지 최적화 Snowball은 데이터 전송 및 스토리지를 위한 강력한 솔루션이 되는 몇 가지 주요 기능을 자랑합니다.
- 고용량 스토리지: 최대 80TB의 스토리지 용량을 갖춘 Storage Optimized Snowball은 대규모 데이터 마이그레이션 작업을 쉽게 처리하여 다양한 사용 사례와 데이터 집약적인 애플리케이션에 적합합니다.
- 빠른 데이터 전송: 고속 40Gbps 네트워크 연결을 갖춘 Snowball은 빠르고 효율적인 데이터 전송을 지원하여 데이터 마이그레이션에 필요한 시간을 단축합니다.
- 데이터 보안: Snowball은 업계 표준 암호화 프로토콜(예: 256비트 AES)을 사용하여 전송 중인 데이터와 저장된 데이터를 모두 보호하여 마이그레이션 프로세스 전체에서 데이터의 기밀성과 무결성을 보장합니다.
- 견고한 설계: 열악한 환경을 견딜 수 있도록 제작된 Storage Optimized Snowball은 견고하고 내후성 설계가 특징이므로 다양한 조건과 임시 설치에서 사용하기에 적합합니다.
- 에지 컴퓨팅 기능: Snowball의 내장 컴퓨팅 기능을 통해 사용자는 에지 컴퓨팅 워크로드를 실행하고 장치에서 직접 데이터를 처리하여 대기 시간을 줄이고 실시간 분석을 수행할 수 있습니다.
- AWS Greengrass 통합: Snowball은 AWS Greengrass와 함께 사전 설치되어 AWS Lambda 및 기타 AWS 서비스와 원활하게 통합되어 엣지 처리 및 분석이 가능합니다.
- 손쉬운 배포 및 관리: 직관적이고 사용자 친화적인 인터페이스를 갖춘 Storage Optimized Snowball은 장치 설정, 데이터 전송 및 추적 프로세스를 간소화하여 모든 규모의 조직에서 데이터 마이그레이션 작업을 간소화합니다.
Amazon AWS Storage Optimized Snowball은 기존 데이터 전송 방법에 비해 상당한 비용 절감 및 효율성 이점을 제공합니다. Snowball의 대용량 스토리지 및 빠른 데이터 전송 기능을 활용함으로써 조직은 데이터 마이그레이션에 필요한 시간과 대역폭을 크게 줄여 시간과 리소스를 모두 크게 절약할 수 있습니다.
또한 Snowball의 견고한 설계 및 에지 컴퓨팅 기능은 추가 하드웨어 투자 및 현장 인프라의 필요성을 제거하여 임시 설치 또는 에지 프로젝트 비용을 더욱 절감합니다. 또한 AWS 서비스와의 원활한 통합을 통해 간소화된 데이터 관리 및 분석이 가능하여 전반적인 생산성과 운영 효율성이 향상됩니다.
그리고 앞서 언급한 것처럼 AWS Snowball Edge Storage Optimized 디바이스 XNUMX개를 주문했지만 Amazon에는 더 많은 컴퓨팅을 처리하도록 설계된 Snowball이 있으며 논의하려는 사이드로딩 프로세스가 필요하지 않습니다. 우리는 단순히 "여분의" 장치가 있었고 설계된 안락한 창 밖으로 얼마나 밀어낼 수 있는지 확인하고 싶었습니다.
스토리지 최적화 Snowball에 사용자 지정 가상 머신 사이드로드
우리는 당신이 끝까지 읽을 것을 강력히 제안합니다 아마존 공식 블로그 이 과정에서; 여기서의 단계는 특정 구성과 이를 실행할 수 있었던 방법을 기반으로 합니다.
2016년 AWS Snowball Edge가 처음 도입되었을 때 디바이스에서 Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스를 실행하려는 사용자는 주문 프로세스 중에 Amazon Machine Image(AMI)를 지정해야 했습니다. 그런 다음 장치는 선택한 AMI를 기반으로 Amazon EC2 인스턴스 시작을 지원합니다. 그러나 AMI를 업데이트하거나 새 워크로드를 위해 다른 것으로 전환하거나 문제를 해결하거나 새로운 기능을 활성화하려면 AMI 업데이트를 위해 디바이스를 AWS로 반환한 다음 다시 배송될 때까지 기다려야 했습니다.
이후 이 프로세스가 간소화되었습니다. 여기에 있는 단계 중 일부는 참조용이며 Amazon 부분에서 직접 사용할 수 있으므로 세부 사항을 지정하지 않고 더 많은 체크리스트를 제공합니다.
- Snowball에 로드하려는 워크스테이션에서 VM을 생성합니다.
- 하이퍼바이저를 설치합니다. Amazon에서 지정한 대로 Oracle VirtualBox를 사용하기로 결정했습니다. 그러나 프로세스에 약간의 차이가 있는 Windows 기반 호스트를 사용했습니다.
- 게스트 OS를 설치합니다. 우분투 22.04를 선택한 이유는 다운로드 및 작업이 쉬웠기 때문입니다. 설치가 완료되면 업데이트를 수행하고 DHCP가 활성화되었는지 확인하고 지금 SSH/RDP 액세스 테스트를 시작하는 것이 좋습니다.
- 디스크 크기를 선택할 때 이후 단계에서 RAW 디스크 파일로 변환되므로 선택해야 하는 디스크가 크든 작든 Snow 장치에 모든 공간을 로드해야 합니다.
- 하드 디스크에서 가상 디스크 .vdi 파일을 찾아 파일 이름으로 위치를 복사합니다.
- VirtualBox의 설치 폴더로 이동합니다. 우리에게는 "C:\Program Files\Oracle\VirtualBox"였습니다. 마우스 오른쪽 버튼을 클릭하고 "Open Powershell Window Here"(Amazon 기사에서 사용할 수 있는 Windows 관련 기타 명령)
- 이전에 만든 .vdi 파일의 경로와 이 명령을 참조로 사용하여 직접 만드십시오. (윈도우 버전은 여기)
.\VBoxManage.exe clonehd "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.vdi" "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.raw" --format raw
- .raw 이미지를 Snow 장치에 로드합니다.
- VM 가져오기/내보내기 프로세스에 대한 IAM 역할 및 관련 정책을 설정하여 이미지 가져오기에 대한 IAM 권한을 만듭니다.
- 디바이스의 Amazon S3에서 스냅샷을 다운로드하기 위해 로컬 VM Import/Export 서비스에 필요한 권한을 부여하는 IAM 정책을 생성합니다.
- 정책을 생성한 후 신뢰 정책으로 IAM 역할을 생성하여 Snowball VM Import/Export가 역할을 맡도록 허용합니다.
- 이전에 생성한 정책을 IAM 역할에 연결하여 VM Import/Export가 디바이스의 S3 버킷에 저장된 이미지에 액세스할 수 있도록 합니다.
- 이미지를 스냅샷으로 가져오기
- Snowball 대시보드 페이지로 돌아가서 "컴퓨팅 시작" 패널에서 "시작하기"를 선택합니다.
- 원시 이미지를 스냅샷으로 가져오기 시작하려면 "스냅샷"을 선택한 다음 "스냅샷 가져오기"를 선택하십시오.
- "스냅샷 가져오기" 페이지에서 필수 설명을 제공하고 이전에 생성한 IAM 역할을 지정합니다.
- S3를 탐색하여 원시 이미지 파일을 찾아 선택한 다음 가져오기 요청을 제출합니다.
- 스냅샷 가져오기는 이미지 크기에 따라 완료하는 데 몇 분 정도 걸립니다.
- 완료되면 상태에 "완료됨"이 표시됩니다.
- 스냅샷에서 AMI 등록
- 스냅샷에서 AMI를 등록하려면 방금 생성한 스냅샷 ID를 선택하고 "이미지 등록"을 클릭합니다.
- 루트 볼륨 장치를 /dev/sda1로 유지하면서 AMI의 이름과 설명을 입력하고 제출합니다.
- 이제 스냅샷이 AMI로 등록되어 여기에서 EC2 인스턴스를 시작할 수 있습니다.
- Snow 장치에서 EC2 인스턴스 시작
- AMI에서 EC2 인스턴스를 시작하려면 Snowball 대시보드 페이지로 돌아가서 "인스턴스"를 선택하십시오.
- "인스턴스 시작"을 클릭하고 AMI 이름과 원하는 인스턴스 유형을 입력합니다.
- 퍼블릭 IP 주소 할당의 경우 새 주소(VNI)를 만들거나 기존 주소를 사용하거나 전혀 할당하지 않도록 선택합니다.
- 키 쌍과 관련하여 필요한 공개 키를 이미지에 이미 추가한 경우 키 쌍을 첨부하지 않도록 선택하거나 기존 키 쌍을 생성/사용하도록 선택합니다.
- "시작"을 클릭하여 EC2 인스턴스를 초기화합니다.
- EC2 인스턴스가 실행되면 AWS의 다른 EC2 인스턴스와 동일한 방식으로 액세스합니다.
사용자 지정 가상 머신을 AWS Snowball Edge와 같은 장치에 사이드로딩하는 프로세스가 복잡하고 어려워 보일 수 있지만, 그 과정에서 제공하는 수많은 이점으로 인해 그만한 가치가 있습니다. 디바이스를 주문한 후 AMI를 테스트용으로 로드할 수 있지만 이미 로드된 AMI가 있는 디바이스를 선택하면 바로 사용할 수 있는 사전 구성된 어플라이언스가 제공된다는 점에 유의해야 합니다.
에지 데이터 수집을 위해 맞춤형 가상 머신을 활용하면 몇 가지 중요한 이점을 얻을 수 있습니다. 사용자 지정을 통해 조직은 가상 시스템을 특정 사용 사례에 맞게 조정하여 성능과 효율성을 최적화할 수 있습니다. 전문 애플리케이션을 통합함으로써 조직은 엣지에서 직접 데이터 처리 및 분석을 간소화하여 대기 시간을 줄이고 실시간 의사 결정을 강화할 수 있습니다.
사이드로드된 사용자 지정 가상 머신이 제공하는 향상된 유연성과 적응성을 통해 조직은 진화하는 요구 사항이나 데이터 수집 요구 사항의 예기치 않은 변경 사항에 신속하게 대응할 수 있습니다. 사용자 지정 가상 머신을 AWS Snowball Storage Optimized Edge와 같은 에지 장치에 사이드로드함으로써 조직은 에지 컴퓨팅의 잠재력을 최대한 활용하고 다양한 환경에서 데이터 수집 및 처리 요구 사항을 효율적으로 관리할 수 있습니다.
엣지에서 신속한 데이터 수집 구현
데이터 수집을 위해 스토리지 최적화 Snowball을 설정하려면 특정 데이터 수집 작업 및 요구 사항을 처리하도록 디바이스를 구성해야 합니다. 조직은 Snowball Edge 디바이스의 강력한 기능을 활용하여 연결이 간헐적이거나 원격 위치인 환경에서 대량의 데이터를 수집하고 처리할 수 있습니다.
장치의 블록 스토리지 및 Amazon S3 호환 개체 스토리지를 통해 사용자는 대량의 데이터를 효율적으로 안전하게 저장, 관리 및 전송할 수 있습니다. 프로젝트 요구 사항에 따라 Snowball Edge를 사용자 지정함으로써 조직은 고유한 요구 사항과 목표를 충족하도록 데이터 수집 프로세스를 최적화할 수 있습니다.
맞춤형 가상 머신과 데이터 수집 도구의 통합으로 에지에서 데이터 수집 프로세스가 더욱 간소화됩니다. 전문 애플리케이션 또는 프레임워크를 통합함으로써 조직은 Snowball Edge 디바이스에서 직접 데이터를 처리 및 분석하여 대기 시간을 줄이고 실시간 의사 결정을 향상할 수 있습니다.
이러한 통합을 통해 다양한 데이터 수집 도구와 맞춤형 가상 머신 간의 원활한 협업이 가능하여 효율적인 데이터 처리 및 관리가 보장됩니다. 또한 Amazon S3와의 데이터 전송 및 동기화를 최적화하면 조직이 Amazon의 클라우드 인프라에서 제공하는 확장 가능하고 안전한 스토리지의 이점을 누릴 수 있습니다.
이 프로세스는 Snowball Edge 디바이스에서 수집된 데이터를 Amazon S3로 원활하게 전송하여 추가 분석 또는 장기 저장을 위해 데이터를 즉시 사용할 수 있도록 합니다. 결과적으로 이는 에지에서 신속한 데이터 수집 및 처리를 지원하는 안정적이고 효율적인 데이터 관리 에코시스템을 조성합니다.
스니커즈넷의 장점
많은 시나리오에서 Sneaker-net 또는 Storage Optimized Snowball과 같은 장치를 사용하여 물리적으로 데이터를 전송하는 것이 인터넷을 통해 데이터를 전송하는 것보다 빠를 수 있습니다. 대역폭이 제한되어 있거나 대기 시간이 길거나 연결이 불안정한 원격 또는 임시 설치의 경우 특히 그렇습니다.
원격 위치에 있는 연구 스테이션, 임시 이벤트 장소 또는 재해 복구 사이트를 예로 들 수 있습니다. 조직은 AWS Snowball을 사용하여 대량의 데이터를 전송함으로써 느리거나 불안정한 인터넷 연결의 제약을 우회하고 추가 처리 및 분석을 위해 데이터를 Amazon S3로 빠르고 안전하게 전송할 수 있습니다.
S3에 저장된 데이터는 AWS 에코시스템이 제공하는 고유한 확장성과 유연성의 이점을 얻습니다. 데이터 볼륨이 증가함에 따라 조직은 비용이 많이 드는 인프라 투자 없이도 변화하는 요구 사항을 수용하기 위해 스토리지 용량을 쉽게 조정할 수 있습니다.
또한 S3는 Amazon Athena, Amazon Redshift 및 Amazon SageMaker와 같은 광범위한 AWS 서비스와 원활하게 통합되어 조직이 강력한 분석 및 기계 학습 도구를 사용하여 데이터를 분석, 처리 및 통찰력을 얻을 수 있도록 합니다. 이러한 통합을 통해 조직은 궁극적으로 데이터 기반 의사 결정을 내리고 성장과 혁신을 위한 새로운 기회를 열 수 있습니다.
생각을 폐쇄
Amazon AWS Storage Optimized Snowball을 맞춤형 가상 머신과 결합하면 엣지에서 신속한 데이터 수집을 위한 강력하고 비용 효율적인 솔루션을 제공합니다. 임시 설치는 이제 S3가 제공하는 보안, 확장성 및 용이한 통합의 이점을 누리면서 대량의 데이터를 효율적으로 수집하고 저장할 수 있습니다. 이 혁신적인 접근 방식을 수용함으로써 조직은 하드웨어 비용을 크게 줄이고 데이터 관리를 간소화하며 데이터에서 새로운 통찰력을 얻을 수 있습니다.
이 프로세스에 대한 우리의 접근 방식은 약간 후진적이었지만 이상적으로는 주문 시점에 EC2 인스턴스를 구성하여 삶을 쉽게 만들 수 있었지만 AWS가 Snowball 어플라이언스와 함께 "창의적인 유연성"을 허용한다는 것을 아는 것이 좋습니다. 실제로 워크로드가 컴퓨팅 집약적인 경우 AWS는 최대 104개의 vCPU, 416GB DRAM 및 28TB 플래시로 Snowball Edge Compute Optimized를 제공합니다. 그리고 분석이 필요한 경우 GPU가 포함된 Snowball도 제공합니다. 에지 데이터 수집을 위해 AWS는 수많은 옵션을 제공하며 어떤 Snow 장치가 귀하에게 적합할지 알아내는 것도 즐거움 중 하나입니다.
StorageReview 및 Wayne Duso와 함께하는 AWS Snow Podcast
StorageReview에 참여
MMCC 뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드
