우리는 최근에 데이터 분석 스타일의 프로젝트를 완료했습니다. 100TB 출력 파일. 실험실 전체에 충분한 저장 공간이 있지만 100TB 파일을 영구적으로 유지하는 데는 고유한 문제가 있습니다. 또한 파일이 실제로 "필요"하지는 않지만 가능하면 파일을 보존하는 것이 좋습니다. 클라우드는 이러한 요구에 확실히 적합하지만 유선을 통해 많은 데이터를 전송하는 데 걸리는 시간이 엄청나므로 AWS Snowball Edge 디바이스를 사용해 보기로 했습니다. 목표는 신시내티의 랩에서 AWS us-east-3 지역의 S2 버킷으로 최대한 빨리 데이터를 가져오는 것입니다.
우리는 최근에 데이터 분석 스타일의 프로젝트를 완료했습니다. 100TB 출력 파일. 실험실 전체에 충분한 저장 공간이 있지만 100TB 파일을 영구적으로 유지하는 데는 고유한 문제가 있습니다. 또한 파일이 실제로 "필요"하지는 않지만 가능하면 파일을 보존하는 것이 좋습니다. 클라우드는 이러한 요구에 확실히 적합하지만 유선을 통해 많은 데이터를 전송하는 데 걸리는 시간이 엄청나므로 AWS Snowball Edge 디바이스를 사용해 보기로 했습니다. 목표는 신시내티의 랩에서 AWS us-east-3 지역의 S2 버킷으로 최대한 빨리 데이터를 가져오는 것입니다.
AWS Snowball Edge 디바이스란 무엇입니까?
데이터 마이그레이션 작업을 자세히 살펴보기 전에 AWS Snowball Edge 디바이스에 대한 간략한 입문서가 필요합니다. AWS Snow Family는 특별히 구축된 서비스 모음입니다. 이러한 서비스는 DDIL(거부, 중단, 간헐적 또는 제한) 네트워크 연결을 위해 그리고 온프레미스 및 견고하거나 모바일 환경에서 대량의 데이터를 전송하기 위해 엣지 위치에 데이터를 저장하면서 컴퓨팅 집약적인 워크로드를 실행합니다. AWS Snowball Edge 디바이스는 견고하고 휴대 가능하며 안전하며 스토리지 최적화 또는 컴퓨팅 최적화 기능을 제공합니다. 이러한 장치는 고객이 원격 또는 연결이 끊긴 위치에서도 대량의 데이터를 안전하고 효율적으로 이동(AWS로)하거나 처리할 수 있도록 설계되었습니다.
Snowball Edge 디바이스는 여기에서 사용 중인 Snowball Edge Storage Optimized와 Snowball Edge Compute Optimized의 두 가지 버전으로 제공됩니다. Storage Optimized 버전은 데이터 전송 및 스토리지 사용 사례를 위해 설계되었으며 최대 80TB의 스토리지 용량을 제공합니다. Compute Optimized 버전은 데이터 처리 및 계산 사용 사례를 위한 것이며 최대 104개의 가상 CPU 및 416GB RAM과 함께 제공됩니다. 컴퓨팅 최적화 시스템에 GPU를 포함하는 옵션도 있습니다. 더 적은 양의 데이터가 필요한 사람들을 위해 AWS Snowcone이라고 하는 작고 휴대성이 뛰어난 Snow Family도 있습니다.
Snowball Edge의 두 버전 모두 변조 방지 인클로저, 256비트 암호화, TPM(신뢰할 수 있는 플랫폼 모듈) 칩과 같은 보안 기능이 내장되어 있어 데이터의 무결성과 기밀성을 보장합니다. 또한 Snowball Edge 디바이스는 엣지에서 AWS Lambda 함수, Amazon EC2 인스턴스 및 기타 AWS 서비스를 실행하도록 구성할 수 있으므로 고객이 데이터를 AWS로 전송하기 전에 온프레미스에서 데이터 처리 및 분석을 수행할 수 있습니다.
우리의 사용 사례에서 Snowball Edge 디바이스는 고객이 원격 또는 연결이 끊긴 위치를 포함한 다양한 환경에서 대량의 데이터를 전송하고 처리할 수 있는 빠르고 안전하며 유연한 방법을 제공합니다.
AWS Snowball 주문 프로세스
노련한 AWS 전문가의 경우 Snowball 주문 프로세스는 간단합니다. 저와 같은 초심자도 프로세스를 통해 우리를 지도해 준 AWS 친구들의 약간의 도움이 되는 넛지를 통해 단계를 클릭할 수 있었습니다.
1단계는 작업에 이름을 지정하고 Snow 장치의 작업 유형을 선택하는 것입니다. 우리의 임무는 단순히 데이터를 S3로 전송하는 것이었지만 Snow 장치는 S3에서 데이터를 내보낼 수도 있습니다. 또한 엣지 위치에 로컬 컴퓨팅, 스토리지 및 GPU를 제공하는 포인트 솔루션으로 사용할 수도 있습니다.
Snow 장치를 선택하면 2단계는 계속해서 간단해집니다. 우리의 경우에는 80TB를 사용할 수 있는 Snowball Edge Storage Optimized 장치를 선택했습니다. AWS Snowball에는 다양한 요금 옵션이 있습니다. 일일 사용량에 대한 요금 옵션이 있거나 AWS Snowball이 62년 사용량 및 1년 사용량 약정에 대해 요금을 대폭 할인(최대 3%)합니다. 이러한 장기 거래에서는 할인된 요금으로 Snowball 디바이스를 사용하기 위해 선불로 지불하고 선불 기간이 끝날 때까지 추가 서비스 요금이나 일일 요금을 지불하지 않아도 됩니다. Snowball 디바이스를 주문할 때 AWS Snow 패밀리 콘솔에서 약정 선불 요금에 가입할 수 있습니다.
마지막으로 가져오기에 필요한 EC2 인스턴스와 S3 버킷을 선택합니다. 이것은 새로운 계정이었기 때문에 새로운 S3 버킷을 생성했습니다. 우리는 또한 이것을 위해 EC2가 필요하지 않았지만 결국 나중에 EC2 인스턴스를 사이드로드 약간의 재미를 위해.
3단계에서는 선택 사항인 Snow용 AWS IoT Greengrass 및 원격 장치 관리 옵션과 같은 몇 가지 추가 기능을 제공합니다.
4단계에서는 보안, 배송 및 알림 기본 설정을 다룹니다. 여기서는 기본 암호화를 사용하고 AWS가 데이터를 처리할 수 있도록 제안된 서비스 역할을 생성했습니다. 거기에서 주소를 추가하고 XNUMX일 또는 XNUMX일 배송을 선택합니다. 여기에서 이메일 알림을 추가할 수도 있지만 작업이 시스템을 통해 작동할 때 AWS 콘솔에 모든 진행 상황이 표시됩니다.
마지막 단계는 입력하고 제출한 모든 정보의 유효성을 검사하는 것입니다. 이렇게 하면 작업이 생성되고 AWS에 의한 이행 프로세스가 시작됩니다. 우리는 모든 옵션을 이해하기 위해 AWS를 사용하여 프로세스를 매우 느리게 진행했습니다. 우리의 캐주얼한 속도로도 전체 프로세스는 약 10분 정도 걸렸습니다. 보다 공격적인 경로를 사용하면 Snow 장치를 주문하는 데 2~3분이 소요됩니다.
당시 우리는 두 개의 Snowball Edge 디바이스가 필요하다고 생각했습니다. 돌이켜 보면 우리는 하나만 필요했습니다. 이 작업을 복제하는 프로세스도 매우 간단하며 더 큰 데이터 세트에 대해 몇 개의 Snowball을 집계하는 데 몇 번의 클릭만 더 하면 됩니다.
여기서부터는 이행 프로세스가 시스템을 통해 작동하므로 기다리는 게임입니다. 이것은 완전히 새로운 계정이었기 때문에 즉시 두 개의 Snowball Edge 디바이스를 주문하는 플래그 몇 개를 작동시켰습니다. 그러나 활동이 있는 계정의 경우 이러한 확인이 없어야 합니다. 눈덩이는 불과 며칠 만에 나타났고 우리는 전송을 위해 데이터를 준비하기 시작했습니다.
Snowball에서 고려해야 할 한 가지는 가격 책정입니다. 작업비가 있으며 여기에는 현장에 장치를 설치하는 데 3일이 포함됩니다. 물론 데이터가 도착하면 S300에도 클라우드 요금이 부과됩니다. Snowball의 가격은 복잡하지 않지만 선택하는 시스템, 필요한 시간, 거주 지역에 따라 다릅니다. 우리의 경우 작업 수수료는 Snowball당 $XNUMX였으며 그마저도 장기 계약으로 대폭 낮아졌습니다. 그러나 Snowball 요금에 대한 감을 잡을 수 있습니다. AWS 모든 것을 나열하는 테이블이 있습니다.
데이터 준비
우리는 100TB 텍스트 파일로 시작했지만 S3 경험이 있는 사람이라면 이것이 문제라는 것을 알 것입니다. S3의 개체 크기 제한은 5TB입니다. 즉, 단일 비준수 파일에 대해 조치를 취해야 했습니다. 우리의 대답은 그것을 잘라서 동시에 약간의 압축 이점을 얻을 수 있는지 확인하는 것이 었습니다. 사용 가능한 용량이 80TB에 달하는 단일 Snowball 장치에 도달할 수 있기를 희망했습니다. Snowball Edge가 도착하기를 기다리는 동안 데이터 준비에 착수했습니다.
프로세스의 재현
우리는 사용 우리가 가장 좋아하는 큰 숫자 작업을 위한 응용 프로그램, 숫자 보기, 분할 및 압축 유틸리티가 포함된 y-cruncher. S3의 개체 크기 제한으로 인해 Pi의 100조 자릿수를 모두 200개의 파일로 분할하기로 했습니다. 압축 후 약 191GB의 파일 크기를 얻었으며 각 파일에는 500,000,000,000(500억)자리가 포함되었습니다.
AWS Snowball 구성
데이터를 준비하고 Snowball 장치를 손에 들고 첫 번째 장치를 가동하여 온라인 상태로 만들었습니다. Snowball 설정은 매우 간단하여 전원을 공급하고 네트워크에 액세스할 수 있습니다. 우리는 10GbE 포트를 선택했습니다. 많은 사람들이 CLI를 사용하여 Snowball과의 인터페이스를 선택하는데, 이는 아마도 선호되는 방법일 것입니다. 그래도 시각적인 측면과 비 AWS 전문가 관점에서의 경험을 원했기 때문에 AWS OpsHub for Snow Family를 선택했습니다.
Snow 패밀리용 AWS OpsHub 고객이 Snow Family 장치 및 로컬 AWS 서비스를 관리하는 데 도움이 되는 사용자 친화적인 도구입니다. 사용자는 디바이스에서 실행되는 AWS 서비스의 통합 보기를 제공하는 그래픽 사용자 인터페이스를 통해 디바이스의 잠금을 해제 및 구성하고, 파일을 전송하고, 인스턴스를 시작 및 관리하고, 디바이스 지표를 모니터링할 수 있습니다. AWS OpsHub는 운영 작업을 자동화하고 다양한 수준의 기술 전문 지식을 가진 사용자를 수용하도록 설계되어 다수의 Snow 패밀리 디바이스를 보다 쉽게 관리할 수 있습니다.
LCD 화면의 IP 주소와 AWS 콘솔의 잠금 해제 코드 및 매니페스트 파일을 사용하여 Snowball Edge를 잠금 해제하고 액세스할 수 있습니다. AWS가 자격 증명을 검증하고 콘텐츠를 해독하고 몇 가지 기타 하우스키핑 작업을 처리하므로 이 작업은 몇 분 정도 걸릴 수 있습니다.
로그인하면 관련 장치 정보와 서비스가 활성화된 시각적 대시보드로 이동합니다. 이 시점에서 우리는 온라인 상태이고 네트워크에 연결되어 있으며 데이터를 이동할 준비가 되었습니다.
AWS Snowball로 데이터 전송
Snowball Edge가 네트워크에 설정되고 OpsHub가 연결되면 이제 200GB 파일 200개를 이동할 차례입니다. 대부분이 이 프로세스에 CLI 인터페이스를 사용하고 시간 최적화 경험의 이점을 누릴 수 있지만 단순성을 선택했습니다. Windows에서 OpsHub를 사용하여 내부에 Pi 데이터가 있는 폴더를 선택하고 데이터를 놓았습니다. 파일을 Snowball로 옮기는 데 약 XNUMX일이 걸렸습니다.
데이터 전송이 완료된 후 장치의 전원을 끄면 전자 잉크 디스플레이가 수집 주소로 변경됩니다. 우리의 경우 그것은 us-east-2의 고향인 오하이오주 콜럼버스를 의미했습니다. 부수적으로 배송업체의 손에 들어가면 액세스 자격 증명도 웹 콘솔에서 이동하여 이동 중에 데이터를 보호합니다.
AWS는 Snowball 상태를 추적합니다.
UPS로 하차하면 AWS 웹 인터페이스는 추적 번호와 Snowball의 운송, 분류, AWS 수령 및 S3로 가져오기 진행 상황을 사용하여 작업 상태를 업데이트합니다. Snowball이 콜럼버스로 이동하는 데 며칠이 걸렸고 가져오기를 완료하는 데 이틀이 걸렸습니다.
프로세스가 완료된 것으로 확인되면 S3에서 시각적으로 확인하여 모든 데이터를 올바르게 가져왔는지 확인했습니다. AWS는 고객이 보다 형식적으로 안심할 수 있도록 예외와 함께 전체 프로세스에 대한 감사 보고서도 제공합니다.
로그에서 오류 없이 완료된 200개의 파일을 볼 수 있습니다. AWS는 또한 Snowball Edge와 해당 데이터가 시스템을 통해 이동할 때 하이라이트를 기록합니다.
최종 생각
AWS Snowball Edge 디바이스는 새로운 것이 아닙니다. AWS는 고객에게 오프라인 데이터 또는 원격 스토리지를 클라우드로 빠르게 이전할 수 있는 안전한 방법을 제공하는 데 앞장섰습니다. 유선을 통해 데이터를 S3로 복사하려고 시도했다면 여전히 해당 작업이 완료될 때까지 기다려야 하고 인터넷 파이프가 연결되어 있어 생산적인 다른 많은 작업을 수행할 수 없을 것입니다. 우리에게 Snowball Edge Storage Optimized 장치는 데이터를 가능한 한 빨리 클라우드로 가져오는 데 꼭 필요한 것이었습니다.
이것은 비용이 들지 않습니다. 장기 고객은 더 나은 가격을 받을 수 있지만 Snowball의 본인 부담 비용은 약 $700였습니다. 하지만 우리가 실수로 추가 주문을 했고 장치를 AWS로 되돌리기 위해 그렇게 빨리 움직이지 않았다는 점을 고려하면 나쁘지 않습니다. 데이터를 S3로 수집하는 데 드는 비용은 없었으며 지속적인 S3 비용은 AWS와의 계약 요금에 따라 결정됩니다.
가장 기본적인 방법으로 Snowball Edge를 사용했다는 점에 유의해야 합니다. Compute가 포함된 Snowball 디바이스, 특히 GPU가 포함된 Snowball 디바이스는 보다 집약적인 사용 사례에 대해 훨씬 더 많은 가능성을 제공합니다. 관심 있는 분들은 최근 AWS 스노우 팟캐스트. 궁극적으로 Snow 장치는 스토리지 및 컴퓨팅 제한이 있는 AWS의 더 작은 버전일 뿐입니다. 그러나 본 바와 같이 매우 유연하고 배포가 매우 쉬우며 필요한 곳에 데이터를 안정적으로 가져올 수 있습니다. AWS Snow 디바이스를 고려 중인 사람이라면 사용해 볼 것을 적극 권장합니다.
StorageReview에 참여
MMCC 뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | 디스코드 | RSS 피드
