조지 테이셰이라, 데이터코어 소프트웨어 CEO 겸 사장
2012년에는 가상화가 XNUMX년 전과 마찬가지로 "빅 데이터"라는 말을 입에 올리게 되었습니다. 또한 가상화 및 클라우드 컴퓨팅과 마찬가지로 IT 문제, 필요한 기술 세트 및 효과적인 빅 데이터 기술을 지원할 수 있는 인프라를 실제로 구축하는 방법에 대한 더 중요한 논의를 모호하게 하는 과장 광고가 많이 있습니다.
사람들이 가상화의 경이로움에 대해 시적으로 표현했을 때 그들은 서버 및 데스크탑 이니셔티브를 지원하는 데 필요한 새로운 성능 요구와 막대한 스토리지 용량 증가를 인식하지 못했습니다. 더 높은 성능과 지속적인 가용성에 대한 요구는 높은 대가를 치러야 했으며 분명히 예산 폭증의 영향으로 많은 프로젝트가 지연되거나 중단되었습니다.
이러한 문제는 이제 업계의 성능 혁신을 활용하고 값비싼 장비의 상용화를 촉진하며 전사적 자동 계층화 소프트웨어와 같은 신기술로 스토리지 관리를 자동화하는 스토리지 가상화를 채택함으로써 해결되고 있습니다.
동일한 역학이 이번에는 빅 데이터와 함께 작동합니다.
비즈니스 인텔리전스 회사는 Hadoop 프레임워크와 BINGO 위에 자사의 분석 플랫폼을 간단히 올려놓기만 하면 빅 데이터 애플리케이션이 있다고 믿게 만들 것입니다. 실제로 대기업에는 Hadoop 프로덕션 배포가 거의 존재하지 않습니다. 이러한 신기술을 이해하고 활용할 수 있는 사람은 그리 많지 않습니다. 또한 지원 기술 및 방법론의 생태계가 아직 미숙하여 XNUMX년 전 가상화와 마찬가지로 업계가 시행착오의 고통스러운 과정을 겪고 있음을 의미합니다. 다시 말하지만, 스토리지 요구 사항을 과소 평가하는 것이 "하드웨어를 문제에 빠뜨리는" 오래된 관행으로 인해 종종 견딜 수 없는 비용과 복잡성이 발생함에 따라 채택에 대한 주요 장벽으로 부상하고 있습니다.
직설적으로 말하자면, 빅 데이터는 단순히 큰 스토리지를 필요로 하는 것이 아니라 크고 스마트한 스토리지를 필요로 합니다. 불행하게도 업계는 과거의 중대한 실수를 되풀이하겠다고 위협하고 있습니다!
기술로 돌아가기 전에 빅 데이터의 세계에 진입하면서 직면한 가장 큰 문제를 지적하겠습니다. 유용한 빅 데이터 시스템을 추진하고 구현할 인력을 개발해야 합니다. 최근 Forbes 기사에 따르면 우리 학교는 빅 데이터로 인한 교육 수요에 보조를 맞추지 못하고 있습니다. 다음 구절이 문제를 잘 요약하고 있다고 생각합니다. 데이터를 집계하고 필터링하는 방법, 데이터를 표시하는 방법, 통찰력을 얻기 위해 데이터를 분석하는 방법, 의사 결정을 돕기 위해 통찰력을 사용하는 방법, 그리고 산업 관점에서 이를 통합하는 방법 당신의 비즈니스 프로세스?”
이제 차이를 만들 제품 기술, 특히 이 새로운 패러다임을 위한 스토리지 관리와 관련된 기술로 돌아가 보겠습니다.
우리 모두가 알고 있듯이 데이터의 성장이 폭발적으로 증가했으며 스토리지 및 처리 확장에 대한 기존 접근 방식은 컴퓨팅, 운영 및 경제적 한계에 도달하기 시작했습니다. 빠르게 증가하는 데이터 세트의 성능 및 가용성 요구 사항을 지능적으로 관리하고 충족하려면 새로운 전술이 필요합니다. 불과 몇 년 전만 해도 조직에서 수백 테라바이트 이상의 확장에 대해 이야기하는 것은 사실상 전례가 없었지만 이제는 몇 페타바이트를 논의하고 있습니다. 또한 과거에는 기업에서 상당 부분의 콘텐츠를 테이프에 보관했습니다. 그러나 오늘날의 주문형 소셜 미디어 중심 세계에서는 더 이상 실현 가능하지 않습니다. 이제 사용자는 즉각적인 액세스를 요구하며 느리거나 원격 테이프 볼트에서 데이터를 복원하는 데 지연이 발생하는 것을 용납하지 않습니다.
즉각적인 만족은 오늘의 단어이며 성능이 중요합니다.
새로운 스토리지 시스템은 장기 아카이빙을 효과적으로 처리하기 위해 시스템의 한 세대에서 다른 세대로 데이터를 중단 없이 자동으로 마이그레이션해야 합니다. 또한 이 문제에 추가되는 것은 대기 시간을 최소화하고 응답 시간을 개선하기 위해 재해 복구를 위해 또는 요청 사용자에게 더 가까운 콘텐츠를 배치하기 위해 여러 데이터 센터 간에 스토리지를 분산해야 한다는 것입니다.
이는 데이터베이스, 전사적 자원 계획 및 기타 트랜잭션 지향 워크로드와 같이 비즈니스의 일상적인 실행에 중요한 애플리케이션의 성능에 특히 중요합니다. 리소스를 많이 사용하는 이러한 애플리케이션이 생성하는 데이터 외에도 IT 부서는 Facebook 및 YouTube와 같은 대규모의 새로운 미디어를 처리해야 합니다. 기존 스토리지 시스템은 이러한 문제를 해결하는 데 적합하지 않기 때문에 IT 설계자는 스스로 솔루션을 개발하거나 복잡하고 성능이 낮은 시스템으로 어려움을 겪을 수 밖에 없습니다.
스토리지 시스템은 일반적으로 단일 위치에 있는 점점 더 큰 스토리지 어레이에 배포되도록 설계되었기 때문에 빅 데이터 및 클라우드 환경에서 매우 어려운 과제입니다. 이러한 고급 독점 시스템은 자본 및 운영 비용은 물론 민첩성 및 벤더 종속 측면에서 높은 비용을 지불해야 했습니다. 중앙에서 관리되는 공통 리소스 풀을 만들기 위한 부적절한 메커니즘을 제공합니다. 이로 인해 IT 설계자는 일반적으로 다양한 브랜드, 제조업체 및 모델로 구성된 다수의 개별 스토리지 시스템으로 문제를 해결해야 하므로 사이트 간 복제에 대한 다른 접근 방식과 특정 형태의 맞춤형 관리가 필요합니다.
이를 염두에 두고 해결해야 할 네 가지 큰 문제가 있습니다.
- 가상 리소스 관리 및 유연성: 모놀리식 독립 솔루션의 현재 환경을 오늘날 사용 가능한 다양한 스토리지 하드웨어 및 장치를 통합하고 활용하는 가상 스토리지 리소스 풀로 전환하려면 스마트 소프트웨어가 필요합니다. 높은 자본 및 운영 비용: 운영 비용을 줄이려면 자동화 및 중앙 집중식 관리를 통해 생산성을 높이는 것이 필수적입니다. 마찬가지로 중요한 것은 기업이 하드웨어를 상품화하고 상호 교환할 수 있는 능력을 강화하는 것이 비용 효율적인 스토리지 확장성에 매우 중요하다는 것입니다. 아무도 빅 데이터 세계에서 더 비싼 "빅 박스" 솔루션을 던지기 위해 "큰돈"을 감당할 수 없습니다. VMware 및 Microsoft Hyper-V와 같은 Hypervisor는 사용자에게 구매력을 제공합니다. 오늘날 Dell, HP, IBM 또는 Intel 서버의 사용은 대체로 개인적인 회사 선호 사항이 되었습니다. 이와 동일한 접근 방식이 스토리지에 필요하며 하이퍼바이저가 필요하게 되었습니다.
- 확장성에는 성능과 지속적인 가용성이 필요합니다. 데이터 스토리지가 증가하고 더 많은 애플리케이션, 사용자 및 시스템에 서비스를 제공해야 함에 따라 더 높은 성능과 가용성에 대한 요구 사항이 동시에 증가합니다. 더 이상 큰 상자에 얼마나 많은 것을 담을 수 있는지가 아니라 새로운 기술을 활용하여 스토리지를 더 빠르고 반응성 있게 만드는 방법이 중요합니다. 마찬가지로, 하나의 스토리지 박스가 아무리 안정적이더라도 기본 하드웨어에 관계없이 최고 수준의 비즈니스 연속성을 보장하기 위해 서로 다른 위치에서 함께 작동하는 많은 시스템과 비교할 수 없습니다.
- 동적 스토리지 대 정적 스토리지: 최대 성능 및 비용 절충을 위해 엔터프라이즈 데이터를 최적화하는 방법을 더 이상 따라갈 수 없다는 것도 분명합니다. 소프트웨어 자동화는 이제 중요합니다. 효율성을 높이고 스토리지 자산 활용도를 높이려면 여러 스토리지 장치에 걸쳐 있는 씬 프로비저닝과 같은 기술이 필요합니다. 다양한 스토리지 클래스 및 장치 유형에서 작동하는 강력한 전사적 기능은 필수품이 되고 있습니다. 한 스토리지 클래스에서 다른 클래스로 마이그레이션하려면 자동화된 스토리지 계층화가 필요합니다. 결과적으로 데이터 및 I/O 트래픽이 고속 동적 RAM 메모리, 솔리드 스테이트 드라이브, 디스크 또는 클라우드 스토리지 공급자로부터 가장 잘 마이그레이션되는지 여부에 관계없이 정교한 스토리지 하이퍼바이저가 중요합니다.
이제 집약적 애플리케이션에는 소규모로 시작할 수 있지만 많은 페타바이트로 쉽게 확장할 수 있는 스토리지 시스템이 필요합니다. 콘텐츠를 빠르게 제공하고 매일 수천 명의 사용자가 처리하는 워크로드를 처리해야 합니다. 또한 사용이 매우 쉬워야 하고 가능한 한 많이 자동화해야 하며 배포 또는 조정을 위한 높은 수준의 전문 지식이 필요하지 않아야 합니다. 아마도 가장 중요한 것은 스토리지의 패러다임을 단일 어레이 또는 위치에 고정하는 것에서 필요한 모든 위치에 컨텐츠를 능동적으로 저장, 검색 및 배포할 수 있는 분산된 중앙 관리 시스템으로 변경해야 한다는 것입니다. 좋은 소식은 DataCore의 SANsymphony-V와 같은 스토리지 하이퍼바이저가 현대 회사에서 실행되는 대량의 데이터에 직면한 IT 설계자에게 사용하기 쉽고 확장 가능한 솔루션을 제공한다는 것입니다.
예, 빅 데이터는 큰 잠재력을 제공합니다. 과거의 큰 실수를 반복하지 않도록 이번에는 스토리지를 올바르게 확보하도록 합시다.
조지 테이셰이라(George Teixeira)는 DataCore Software 의 CEO 겸 사장입니다 . 이 회사의 소프트웨어 인프라(SaaS) 플랫폼은 가상화 도입을 가로막는 주요 문제인 스토리지 관련 장벽을 제거하여 가상화의 어려움과 비용 문제를 해결합니다. 저자에게는 George.Teixeira@DataCore.com으로 연락하실 수 있습니다.
아마존