브라이언은 10월 26일 링크드인에서 HPE의 하이브리드 클라우드 기술 가속화 담당 수석 부사장인 패트릭 오스본을 초청하여 라이브 팟캐스트를 진행했습니다. 주제는 엔터프라이즈 스토리지가 AI를 수용할 준비가 되었는지 여부였으며, 이에 대한 답변은 HPE가 5년 전 결정한 Alletra Storage MP 아키텍처, Oracle AI Database 26ai 및 벡터 검색을 통한 블록 스토리지의 새로운 활용, 245TB SSD의 성능 및 밀도 기술, LTO 테이프의 기록적인 판매량, HPE 프라이빗 클라우드 시스템의 런타임으로 사용되는 Morpheus VM Essentials, 그리고 스토리지 어레이에 내장된 사이버 보안 기능 등을 통해 논의되었습니다.
저희는 연구실에서 대부분의 내용을 다뤘습니다. B10000 사이버 복원력 아키텍처 와 랜섬웨어 랩 , 데이터 보호 가속기 노드가 탑재된 X10000 , 그리고 이 녹화 직전 주 에는 COTA에서 메르세데스 F1과 HPE가 함께한 레이스 주말 행사도 진행했습니다 .
패트릭은 휴렛팩커드 엔터프라이즈(HPE)에서 16년 이상 스토리지, 클라우드 인프라 및 빅데이터 분야에서 근무하며 빅데이터, 분석 및 스케일아웃 플랫폼 사업부를 이끌었고, 이후 스토리지 사업부를 거쳐 현재는 알레트라 스토리지 MP 제품군을 담당하는 클라우드 데이터 인프라 책임자로 재직 중입니다. 그는 2023년 휴스턴에서 열린 HPE 그린레이크 데이 스토리지 행사에서 녹음된 팟캐스트 119회 에 마지막으로 출연했습니다.
HPE 스토리지는 저희 연구실에서 꾸준히 다뤄져 왔습니다. B10000 출시 당시 리뷰를 진행했고, 롤리(Raleigh)에 있는 데이터 보호 가속기 노드(Data Protection Accelerator Node)를 통해 백업 및 복구 처리량을 측정했으며, HPE 영국 랜섬웨어 연구소와 함께 NIST CSF 2.0 사이버 복원력 아키텍처를 구축했습니다. 또한 X10000 릴리스 4 와 16개 노드 및 네이티브 NFS 지원에 대해서도 살펴보았습니다. 작년에는 SimpliVity 및 VM Essentials 스택도 테스트했습니다.
이번 에피소드는 약 58분 분량입니다. 특히 기억에 남는 내용은 다음과 같습니다. Alletra Storage MP는 출시된 지 5~6년이 되었지만, 단일 아키텍처로 엔트리 레벨 시스템부터 수십 페타바이트 규모까지 확장 가능합니다. HPE는 18개월 동안 고객과의 대화에서 "내 데이터가 AI에 적합한가?"라는 질문을 가장 중요하게 다뤄왔습니다. VM Essentials는 출시 첫 해에 매달 새로운 버전을 출시했지만, GreenLake 콘솔 업데이트는 몇 주 단위로 이루어집니다. LTO 테이프는 작년에 사상 최대 용량을 출하했습니다. 그리고 메르세데스 F1 팀은 약 18명으로 구성된 IT 팀으로 트랙 운영을 관리하고 있습니다. 시간이 부족하신 분들을 위해 에피소드를 여러 부분으로 나누어 놓았으니, 관심 있는 부분만 선택해서 들으실 수 있습니다.
[00:00] 스토리지가 다시 흥미로워졌습니다
스토리지 분야 베테랑 두 명이 스토리지가 단순한 소모품에서 핵심적인 분야로 부상하게 된 이유를 밝힙니다.
- 패트릭은 스토리지 및 데이터 관리 분야의 상품화 시기를 설명하면서 고객들이 관리 경험, 데이터 센터, 하이브리드 및 엣지 전반에 걸친 배포 패턴, 그리고 GreenLake의 경제 모델에 관심을 갖게 되었다고 말합니다.
- 그는 지난 18개월 동안 모든 대화가 고객의 데이터와 인프라가 AI 워크로드에 적합한지 여부로 시작된다고 말하며, 이 질문은 보안, 성능 및 애플리케이션 생태계 전반에 걸쳐 광범위한 영역을 다룬다고 덧붙였습니다.
- 브라이언의 관점은 이렇습니다. 데이터 혁명은 인공지능보다 훨씬 더 큰 규모이며, 스토리지에 대한 관심이 폭발적으로 증가하고 있다는 것입니다.
[02:36] HPE가 Alletra Storage MP에 집중한 이유
브라이언은 패트릭에게 맞춤형 스토리지 플랫폼을 하나의 아키텍처로 통합하기로 한 결정을 재검토해달라고 요청합니다.
- HPE는 Alletra Storage MP를 업계 최초의 분산형 스토리지 아키텍처라고 칭하며 약 5~6년 전에 출시했습니다. 이 아키텍처는 컴퓨팅 노드와 데이터 노드를 분리하여 고객이 용량, 성능, 비용 및 복원력을 독립적으로 확장할 수 있도록 합니다.
- 이 설계는 표준 x86 구성 요소, 저지연 네트워킹 패브릭, 고성능 TLC부터 고용량 QLC에 이르는 다양한 미디어를 사용하며, 소프트웨어 계층에서 차별화를 꾀합니다. 이전 아키텍처는 배터리 백업 메모리, 크로스바, 맞춤형 실리콘에 의존했습니다.
- 두 가지 버전이 있으며, 이 버전은 하나의 관리 패러다임 아래에서 정형 데이터와 비정형 데이터를 모두 지원하며, 엔트리 시스템부터 수십 페타바이트 규모의 미션 크리티컬 스토리지까지 아우릅니다. 패트릭은 이 버전의 성공 여부를 사용자 증가와 플랫폼 품질로 평가합니다.
[08:02] 블록 스토리지의 AI 르네상스
AI 스토리지는 일반적으로 파일 및 객체 스토리지를 의미하지만, 브라이언은 벡터 검색 기능을 추가한 트랜잭션 데이터베이스용 파이버 채널 블록 스토리지에 대한 수요가 증가하고 있는 것을 목격하고 있습니다.
- 패트릭은 AI를 다양한 I/O 패턴을 가진 서비스 파이프라인으로 정의합니다. 벡터 및 반정형 데이터베이스에는 블록 I/O가, NFS 및 SMB를 통한 기존 비정형 데이터에는 파일 I/O가, 최신 애플리케이션에서 생성되는 새로운 데이터에는 S3 객체 I/O가 사용되며, 추론 기능이 가장 빠르게 성장하고 있습니다.
- 블록, 파일, 객체는 물론 데이터 서비스(메타데이터 태깅, 복원력, 백업, 재해 복구)까지 모두 지원하는 단일 플랫폼이 매력적이며, 브라이언은 Oracle 26ai 벡터 워크로드가 프로덕션 환경과 함께 사용될 때 노이즈 네이버 제어 및 QoS가 다시 중요해진다고 덧붙였습니다.
- GPU 부족으로 고객은 멀티테넌시 및 타임 슬라이싱을 도입하게 되었고, HPE는 NVIDIA와 협력하여 KV 캐시 및 RDMA 기반 S3와 같은 스토리지 수준 통합에 대한 청사진을 개발하여 데이터 파이프라인의 일부가 스토리지 계층에서 실행되도록 하고 있습니다.
[12:57] 추론을 위한 계층화 및 미스터리 제거
브라이언은 엔터프라이즈 추론을 계획하는 고객이 공유 KV 캐시 계층 외에 무엇을 고려해야 하는지 묻습니다.
- 패트릭은 모델 및 런타임 환경이 12~18개월에 걸쳐 안정화되었으며, HPE의 프라이빗 클라우드 서비스는 최초 토큰 발급까지 며칠 또는 몇 시간 내로 완료되는 것을 목표로 한다고 밝혔습니다.
- 지난 6월 HPE Discover 행사 이후 추진된 것은 MCP 에이전트, 데이터 인텔리전스, 기존 데이터 유형 지원을 포함하는 엔터프라이즈용 수직 스택으로, 고객이 기술 통합자가 아니거나 기존 시스템을 완전히 교체할 필요가 없도록 하는 것입니다.
- 두 사람은 HPE가 COTA에서 메르세데스 F1과 함께 목격한 내용을 다룹니다. 즉, 분산된 사이트, 중앙 데이터 팩토리로 이동하는 대용량 데이터, 그리고 지사를 둔 기업에서 흔히 볼 수 있는 오케스트레이션 등을 설명합니다.
[18:06] 자율주행 네트워크에서 자율주행 AI 데이터센터로
스포츠 파트너십, 주니퍼, 그리고 스토리지에 대한 논의가 계속해서 확대되는 이유.
- 메르세데스 외에도 패트릭은 라이더컵, NFL, NBA, EPL, 라리가와의 파트너십을 실시간 분석 활용 사례로 꼽으며, 각각의 사례에서 경쟁 우위를 확보하기 위해 프로세스를 최적화하고 있다고 설명합니다.
- Juniper를 네트워킹 백본으로 선택한 고객은 HPE의 CloudOps 제품군과 Mist가 통합된 서비스를 이용할 수 있으며, Patrick은 이를 네트워킹을 포함한 자율 주행 AI 데이터 센터로 설명합니다.
- 경제학적인 측면에서 그는 토큰 경제학과 모델 매칭은 스택의 모든 계층을 관찰할 수 있을 때만 효과가 있으며, 이는 지난 1년 동안 HPE 내부에서도 어려운 과제였다고 말합니다.
[21:53] 테이프의 성능, 밀도, 그리고 기록적인 한 해
GPU와 CPU의 전력 소모량이 증가함에 따라 브라이언은 스토리지에 어떤 부담이 가해지는지 묻습니다.
- 디스크에서 하이브리드, 그리고 올플래시로의 전환은 전력 소비와 냉각에 도움이 되었으며, SSD의 높은 밀도와 자형과 같은 새로운 폼 팩터는 랙이 감당할 수 있는 전력량에 제한이 있음에도 불구하고 랙당 테라바이트급 용량을 구현할 수 있게 해주었습니다. 이제는 완전 수랭식 시스템도 등장했습니다.
- 패트릭은 업계에서 작년에 그 어느 해보다 많은 LTO 테이프 용량을 출하했다고 언급했고, 브라이언은 LTO-10 라이브러리를 거의 비용이 들지 않는 로컬 아카이브로 활용하여 오래된 데이터를 새로운 분석 도구에서 다시 가치 있게 사용할 수 있도록 하는 방안을 제시했습니다.
- 브라이언은 SSD 용량이 2~4TB에서 오랫동안 정체되어 있다가 15TB, 30TB, 61TB, 122TB를 거쳐 245TB까지 증가하는 추세를 추적하며, E1.S, E3.S, E3.L 버전 출시로 플랫폼 지원이 나뉘어 더 이상 여러 상자의 드라이브를 재고로 쌓아둘 수 없게 되었다고 설명합니다.
[28:23] 설계도, 가전제품, 그리고 가장 큰 박스를 사지 않는 것
HPE는 AI 인프라에 대한 전문 지식이 부족한 기업을 위해 어떻게 스택을 패키징하는지 설명합니다.
- Alletra Storage MP는 HPE 프라이빗 클라우드 AI의 데이터 기반이며, 고객은 NVIDIA 청사진을 기반으로 구축하거나 NIM, 청사진 및 기반 모델이 준비된 어플라이언스 형태로 구매하여 바로 실행한 후 필요에 따라 GPU와 스토리지를 확장할 수 있습니다.
- 브라이언의 요점은 정답이 항상 가장 큰 시스템이 아니라는 것입니다. RTX PRO 6000 또는 4500 카드 두 개가 장착된 서버가 적합할 수 있으며, 어려운 점은 새로운 플랫폼 발표와 실제 비즈니스 성과를 연결하는 것입니다.
[30:42] 청중 질문: Morpheus VM 필수 사항 및 스토리지
첫 번째 실시간 질문은 VM Essentials가 HPE의 스토리지 하드웨어 및 아키텍처에 얼마나 큰 영향을 미칠지에 대한 것입니다.
- VM Essentials는 약 2년 전 혼란스러운 가상화 시장에 출시되었으며, 패트릭은 고객들이 베어메탈, VM 및 컨테이너를 나란히 실행함에 따라 Alletra Storage MP용 CSI 드라이버 다운로드 수가 급증했다고 말합니다.
- 통합 작업은 스냅샷 및 복제를 위한 기밀 컴퓨팅 및 스토리지 플러그인에서 소프트웨어 정의 네트워킹에 이르기까지 다양한 분야에서 이루어지며, VM Essentials는 이제 CloudOps 제품군을 통해 관리되는 HPE Private Cloud 1000, 3000 및 Private Cloud AI 내의 런타임입니다.
- HPE는 광범위한 하드웨어 호환성 목록을 보유하고 있으며 Veeam, Commvault, Cohesity, Rubrik 등과 같은 솔루션과 연동하여 HPE 스토리지에서 "더 나은 시너지 효과"를 제공합니다.
- 브라이언은 SimpliVity와 VM Essentials 연구실 작업을 회상하며, 배포가 놀라울 정도로 간단하고, VM 생성 과정에 데이터 보호 기능이 내장되어 있으며, 주정부, 중소기업 및 지사 사무실에 적합하다고 말했습니다.
[37:40] 다중 테넌트 격리 및 릴리스 주기
두 번째 청중 질문은 테넌트 간 메타데이터 유출과 HPE의 대응 속도에 관한 것이었습니다.
- 패트릭은 멀티테넌트 격리 질문을 후속 질문 및 블로그 주제로 삼았습니다. HPE의 멀티테넌트 아키텍처는 프로토콜과 관계없이 환경을 격리하며, 그의 팀은 질문자에게 구체적인 내용을 담은 게시물을 올릴 예정입니다.
- GreenLake 콘솔 업데이트는 몇 주 간격으로 제공되는 반면 어레이 펌웨어는 고정되어 있어 12~18개월마다 업그레이드하던 기존의 골든 카피 방식에서 벗어났습니다. VM Essentials는 초기에는 매월 릴리스를 제공하다가 성숙해짐에 따라 릴리스 속도를 늦췄으며, 고객 자문 위원회는 18개월 만에 크게 발전했다고 평가했습니다.
[42:09] 데이터 보호: DPAN, Zerto 및 랜섬웨어 연구소
브라이언은 롤리 연구소에서 진행 중인 데이터 보호 가속기 노드 관련 작업에 대해 언급하며 HPE의 보안 정책이 어떤 위치에 있는지 묻습니다.
- 패트릭은 공격자들이 AI를 이용해 익스플로잇을 묶고 확장함에 따라 보안이 이사회 차원의 화두로 떠오르고 있다고 말하며, HPE는 기술 파트너들과 함께 글래스윙 프로젝트에 참여하고 있다고 밝혔습니다.
- Zerto 인수를 통해 스토리지 계층에 복구 시점 목표(RPO) 개념이 도입되었으며, 이제 스토리지 어레이는 별도의 인력 없이도 경고를 발생시키고, 스냅샷을 생성하고, 오프프레미스 골든 카피를 포함한 복사본을 격리할 수 있습니다.
- HPE는 AI 기회, VM 재설정, 보안 및 규정 준수라는 세 가지 주제를 중심으로 고객과의 대화를 이끌어갑니다. 브라이언은 HPE가 실제 랜섬웨어에 시스템을 노출시키는 영국 연구소를 소개합니다.
- DPAN 테스트 결과, 브라이언은 복구 병목 현상이 패브릭이 아닌 대상 서버 내부의 SSD에서 발생했다는 점을 지적하며, 이는 복구 시간 목표가 중요한 경우 구성 요소 선택 시 드라이브 용량까지 고려해야 한다는 것을 시사합니다.
[48:22] 첫날부터의 회복력과 IT 제너럴리스트
플래티넘 서비스 수준은 서비스 제공 시점에 정의되며, 메르세데스 F1의 소규모 팀이 이를 입증했습니다.
- Morpheus Enterprise를 사용하면 성능, 복원력 및 사이버 보안 상태가 베어메탈, 가상화 또는 컨테이너화된 환경에 배포되는 서비스에 연결되어 서비스 수명 주기 전반에 걸쳐 유지됩니다.
- 브라이언은 메르세데스 트랙사이드 팀 약 18명이 동일한 공구를 사용하기 때문에 엔지니어들이 행정 업무가 아닌 차량 개발에 시간을 쏟을 수 있다고 말했는데, 이는 모든 기업이 감수해야 하는 절충안이라고 설명했습니다.
- 패트릭은 이제 백업, 스토리지, 컴퓨팅 전담팀을 보유한 고객을 만나는 경우가 드뭅니다. 모두가 각자의 워크로드와 서비스 수준을 담당하고 있으며, 일반 담당자는 스택 전반에 걸쳐 가시성과 손쉬운 관리가 필요합니다.
[52:30] 엔터프라이즈 스토리지의 미래는?
브라이언은 고객들이 향후 6개월에서 12개월 동안 계획을 세울 때 고려해야 할 주요 테마가 무엇인지 묻습니다.
- 패트릭은 고객들이 가상화, 사이버 복원력 요구 사항, AI 파이프라인이 혼합된 환경에서 스토리지 아키텍처를 재고하고 있으며, 데이터 공유에 대한 엄격한 거버넌스와 한 공급업체가 전체 스택을 제공하는 수직 지향적 시스템으로의 전환이 이루어지고 있다고 봅니다.
- 그는 키-값 저장소, 메타데이터 쿼리, 새로운 보안 표준을 포함하여 스토리지 계층에 내장된 더 많은 AI 데이터 서비스가 등장할 것으로 예상하며, 궁극적으로는 스토리지 계층 자체에서 GPU와 모델이 실행될 것으로 기대한다.
- 브라이언은 DPU급 장치가 오프로드를 위해 컴퓨팅 및 스토리지 양쪽 모두에서 등장할 것이라고 덧붙였으며, 두 회사는 5년 동안 처리할 수 없는 워크로드가 없었던 플랫폼을 구축해 왔다고 밝혔습니다.
이번 에피소드에서 다룬 내용에 대해서는 B10000 사이버 복원력 관련 보고서 , X10000 데이터 보호 가속기 노드 리뷰 , SimpliVity 및 VM Essentials 리뷰 , 그리고 메르세데스 F1 레이스 주말 관련 기사를 참고하시기 바랍니다 .
아마존