O Apollo da Hewlett Packard Enterprise (HPE) é uma família de soluções de computação e armazenamento de infraestrutura convergente com base em função na extremidade de alto desempenho e alta densidade do espectro de desempenho corporativo. Os servidores Apollo 4530 utilizam um chassi 4U com suporte para até 68 HDDs de 3.5″, com três servidores ProLiant Gen9 internos alimentados por processadores Xeon E5-2600v3 ou v4, até 1,024 GB de memória DDR4 e com 4 slots PCIe e FlexibleLOM. Do ponto de vista do armazenamento, isso significa que cada chassi Apollo 4530 pode gerenciar mais de 500 TB de armazenamento com discos de 8 TB ou pouco menos de 700 TB com modelos de 10 TB. Os sistemas são desenvolvidos especificamente para armazenamento de big data, análise e HPC em rápida expansão.
O Apollo 4500 descende do SL4540 da HPE e é voltado para armazenamento de objetos e análise de dados corporativos. A família Apollo oferece uma ampla variedade de configurações, e os servidores Apollo 4530, como os presentes em nosso laboratório, dedicam mais espaço do chassi aos recursos de computação. A alta densidade de processamento do Apollo 4530 permite acomodar até 30 servidores em um rack de 42U, e o modelo está disponível com até dois processadores Intel Xeon E5-2600v4 por servidor. As CPUs variam de 6 a 22 núcleos e até 145 W de potência.
Obviamente, a HPE oferece uma ampla variedade de soluções SDS com as quais a empresa está bastante familiarizada. A abordagem da Apollo é fundamentalmente diferente de como a maioria das empresas pensa sobre implantações de SDS, que geralmente é percebida como o domínio do armazenamento primário. A plataforma Apollo adota uma abordagem centrada na capacidade para SDS, mesmo com o chassi 4530 denso de servidor. Isso oferece aos parceiros de software uma plataforma robusta, mas distinta, para operar, construída especificamente para a tarefa da Apollo 4530 em escala de alta capacidade. De sua parte, o Apollo 4530 foi projetado para preencher o nicho de computação analítica da família Apollo e seu chassi de três servidores cria oportunidades para escalabilidade e paralelismo dentro de uma quantidade relativamente pequena de espaço em rack. Por exemplo, as implantações do Hadoop se beneficiam da capacidade de processar três cópias de um conjunto de dados simultaneamente. A análise baseada em NoSQL é outro alvo para esta configuração de arquitetura.
Para se ter uma ideia das diferenças físicas entre os modelos da linha Apollo, o 4510 possui um único nó, o 4520 possui dois nós e o 4530 possui 3 nós. Além do número óbvio de nós do lado de fora, o layout interno de cada unidade Apollo é diferente para lidar com o número de nós que o chassi suporta. O 4510 oferece 60 compartimentos de unidade interna conectados a um nó, o 4520 possui 46 compartimentos de unidade (23 divididos uniformemente por nó), enquanto o 4530 possui 45 compartimentos de unidade (com 15 por nó). Portanto, para a quantidade máxima de capacidade de armazenamento, o 4510 pode acomodar a maioria das unidades. Mas para maior resiliência de failover, o 4530 com três nós oferece a maior proteção ou acesso simultâneo. Todos os discos rígidos caem pela parte superior. O 4520 possui módulos expansores para armazenamento compartilhado entre os nós, e o 4530 possui três servidores independentes e não compartilhados com 15 unidades cada. O 4510 oferece suporte a mais opções de controlador e unidades gerais do que o 4520 ou 4530 para densidade máxima de disco, tornando-o o melhor para reduzir o custo de implantações de armazenamento de objeto em expansão. O 4510 também pode ser configurado com 8 compartimentos de unidade adicionais além dos 60 internos, com compartimento adicional.
Todos os sistemas Apollo 4000 incorporam um cartão HPE Smart Array com funcionalidade de criptografia segura FIPS 140-2 integrada que é transparente para o sistema operacional. Os dados em qualquer unidade podem ser criptografados e as chaves podem ser gerenciadas localmente ou por meio do sistema de gerenciamento de chaves para ambientes e aplicativos que o exijam. O Apollo também oferece suporte a um amplo portfólio de utilitários de gerenciamento destacados pelo iLO para os servidores ProLiant integrais e Cluster Management Utility (CMU) para provisionamento, gerenciamento e monitoramento do cluster.
Especificações do HPE Apollo 4530
- Fator de forma: chassi de infraestrutura compartilhada 4U
- Servidor: até 3 servidores por chassi
- Tipo de armazenamento: Até 15 LFF hot-plug SAS/SATA/SSD por servidor; Até 45 unidades por chassi
- Capacidade de armazenamento: Até 150TB por servidor (15 LFF 10TB HDD); Até 4.5 PB por rack de 42U (30 servidores HDD de 10 TB)
- Controlador de armazenamento: HPE Dynamic Smart Array b140i; Controladores HPE Smart Array P244br/HPE H244br integrados; além de opções adicionais de controlador Smart Array ou Smart HBA
- Família de processadores: Intel Xeon E5-2600 v3 ou v4 Series
- Número do processador: um ou dois por servidor
- Processor cores available: 6/8/10/12/14/16/18/20/22
- Frequência do processador: de 1.6 GHz a 2.6 GHz
- Memória: HPE SmartMemory; 16 slots DIMM; Até 1,024 GB de memória DDR4 a até 2,400 MHz
- Rede: 2 x 1 Gb Ethernet mais opções FlexibleLOM e PCIe
- Slots de expansão: até quatro slots PCIe + suporte FlexibleLOM
- Gerenciamento: HPE iLO 4
- Recomendado para gerenciamento em escala: HPE Apollo Platform Manager; Utilitário de gerenciamento de cluster HPE Insight
- Recursos dos ventiladores do sistema: Cinco módulos de ventilador hot-plug (fornecem redundância)
Construir e projetar
O sistema Apollo 4530 possui um chassi 4U projetado para densidade máxima. O Apollo 4530 incorpora três servidores ProLiant Gen9 neste chassi, e cada servidor pode ser equipado com até 15 unidades SAS ou SATA hot-plug. A configuração de armazenamento Apollo 4530 mais densa disponível usa unidades LFF de 10 TB para atingir uma capacidade total de 4.5 PB em um rack de 42U cheio de sistemas 4530.
A parte frontal do sistema fornece acesso aos três nós internos do servidor. Até duas unidades SFF por nó de servidor podem ser acessadas pela frente, e cada servidor apresenta a faixa esperada de indicadores de LED. Todos os principais componentes de um sistema Apollo 4530 suportam manutenção hot plug, incluindo os nós do servidor, bem como suas unidades e fontes de alimentação.
A parte traseira do Apollo 4530 fornece acesso aos módulos de E/S de cada nó do servidor e aos slots PCIe na parte superior. A parte inferior esquerda do chassi incorpora a porta de gerenciamento de rack HPE-APM, uma porta iLO4 e uma porta HPE Tools Service. As baias para até quatro fontes de alimentação completam o espaço restante na parte traseira do chassi.
e Autônoma
Os sistemas Apollo 4500 utilizam o HPE Integrated Lights Out 4 (iLO4) para monitoramento, gerenciamento e resolução de falhas sem a necessidade de agentes. O iLO4 incorpora um console remoto, controle de energia, gerenciamento de mídia virtual, descoberta e integridade de federação e uma API RESTful. Uma análise mais detalhada do iLO4 e da experiência de gerenciamento do ProLiant Gen9 pode ser encontrada em nossa análise do HPE iLO4 e na análise do HPE ProLiant DL360 Gen9.
O iLO4 oferece três opções de console remoto: uma interface .Net, uma interface Java ou um aplicativo móvel. A interface principal do iLO4 usa uma árvore de navegação no lado esquerdo.
Os grupos de federação iLO facilitam o monitoramento e o gerenciamento de grupos de servidores, incluindo atualizações de firmware e instalação de chaves de licença. O iLO é oferecido com três esquemas de licenciamento para servidores Gen9, como os usados no Apollo 4530. Uma licença “iLO Standard” oferece gerenciamento remoto por meio do Console Remoto Integrado (IRC), bem como mídia virtual, e fornece funcionalidade central de federação iLO. A licença “iLO Advanced” inclui funcionalidade remota completa e todos os recursos do iLO Federation, como atualizações de firmware de grupo, mídia virtual de grupo, controle de energia de grupo, limite de energia de grupo e ativação de licença de grupo. Há também uma licença “iLO Scale-Out” voltada para esses casos de uso.
Como uma plataforma Gen9, os sistemas Apollo 4500 podem usar o software de gerenciamento Insight Control da HPE. O HPE Insight Control automatiza a implantação e a migração, além de fornecer ferramentas de integração para ofertas de gerenciamento de VM da VMware, Microsoft, Citrix e Xen.
O HPE Active Health System (AHS) registra integridade, configuração e outras telemetrias do iLO4, ROM do sistema, Serviço de gerenciamento sem agente, placas de interface de rede e outros componentes. Ele pode ser usado para enviar telemetria automaticamente para os programas Insight Online Direct Connect ou Insight Remote Support 7.x da HPE.
O aplicativo móvel iLO para iOS e Android pode interagir com o processador iLO para fornecer acesso ao status do sistema, logs, scripts e mídia virtual. Uma ferramenta de interface RESTful pode criar scripts de configuração para implantação rápida de servidores ProLiant com sistemas operacionais heterogêneos e servidores Gen9, como o Apollo 4500, suporte ao gerenciamento por meio do HPE Virtual Connect Enterprise Manager 7.4.
HPE OneView
Outra opção de gerenciamento para usar com o Apollo é o OneView da HPE. O OneView é um mecanismo de automação de infraestrutura HPE com inteligência de software integrada. A ideia por trás do OneView é simplificar o provisionamento e o gerenciamento do ciclo de vida em computação, armazenamento e malha por meio da automação. A infraestrutura pode ser configurada, monitorada, atualizada e reaproveitada com uma única linha de código, liberando a TI para gerenciar outras necessidades em constante mudança. O OneView é voltado mais para empresas e pode ser dimensionado para até 640 servidores.
A TI pode implantar a infraestrutura mais rapidamente usando os modelos da HPE incluídos no OneView. Esses modelos permitem que os usuários modelem configurações em software, como configuração de RAID, configurações de BIOS, linha de base de FW, uplinks e downlinks de rede e volumes e zoneamento de armazenamento SAN. Outra maneira pela qual o OneView ajuda na implantação é automatizando drivers de dispositivo e atualizações de firmware em escala. Os administradores podem configurar atualizações secundárias sem tempo de inatividade e atualizações importantes com tempo de inatividade reduzido. O OneView também pode receber falhas de hardware relatadas do iLO e registrá-las com o suporte da HPE, o que, por sua vez, acelera a resolução do problema.
Utilitário de gerenciamento de cluster HPE Insight
Outra opção de gerenciamento, dependendo das necessidades dos usuários, é o HPE Insight Cluster Management Utility (CMU). O CMU foi projetado para ambientes de cluster e fornece aos usuários monitoramento, métricas de nó e gerenciamento remoto. O CMU é ideal para organizações que precisam lidar com centenas a milhares de nós. O CMU suporta Red Hat Linux, SUSE Linux Enterprise Server (SLES) e várias distribuições comunitárias do Linux. A CMU oferece CLI e GUI para monitoramento e gerenciamento. O CMU foi projetado para trabalhar com HPC e Big Data e pode ser dimensionado para até 10,000 servidores em uma configuração de cluster.
Com a GUI, podemos entrar na seção de monitoramento em detalhes e clicar em um dos Apollos em nosso cluster. Aqui podemos ver uma grande quantidade de recursos, incluindo recursos de recursos, recursos personalizados e recursos internos.
Clique com o botão direito do mouse e abra em uma nova guia para uma imagem maior
Também podemos observar os nós individuais que temos para obter uma visão mais profunda dos recursos por nó.
Clique com o botão direito do mouse e abra em uma nova guia para uma imagem maior
Conseguimos olhar para um grupo de imagens específico para ver quais nós pertencem a esse grupo e de quais dispositivos.
Clique com o botão direito do mouse e abra em uma nova guia para uma imagem maior
E com a visualização instantânea, podemos entrar e ver as métricas específicas do cluster, como porcentagem de carga da CPU, velocidades de leitura de disco, temperatura e uso de energia. No momento da captura da captura de tela, o cluster estava desligado.
Clique com o botão direito do mouse e abra em uma nova guia para uma imagem maior
Casos de uso do HPE Apollo
Dado o fator de forma exclusivo do hardware, a HPE fez bem em fazer parceria com várias empresas de software para desenvolver práticas recomendadas e guias de implantação para vários casos de uso. Destacamos alguns deles abaixo para fornecer uma imagem melhor de como o Apollo pode ser aproveitado.
Scality RING e o Apollo 4530
A HPE descreve a série Apollo 4500 como os blocos de construção para armazenamento de objetos em escala empresarial. Dada essa filosofia, estamos particularmente interessados em considerar o Apollo 4530 à luz do HPE Scalable Object Storage com Scality RING . O Scality RING pode ser implementado com um tamanho mínimo de um cluster com seis nós de servidor e pode ser escalado para milhares de nós de servidor na escala de petabytes.
Na camada de armazenamento, o RING fornece abstração para o hardware subjacente, bem como serviços para acesso a dados, proteção de dados e gerenciamento. A camada intermediária da arquitetura RING é um sistema de arquivo virtual distribuído com mecanismos de proteção de dados e serviços de gerenciamento para oferecer suporte ao armazenamento de objeto chave-valor distribuído do RING. Na camada superior, serviços de dados de aplicativos RING por meio de uma camada de "servidores conectores". Eles podem ser gateways físicos ou VMs em execução diretamente nos nós de armazenamento.
Scality refere-se à GUI web do RING como o supervisor, que fornece um painel, bem como submenus para gerenciar as várias camadas da arquitetura RING. O supervisor se comunica com o agente de gerenciamento “sagentd” instalado em cada servidor. Uma interface de console programável chamada RingSH também está disponível para fins de gerenciamento e monitoramento. O RING fornece um MIB compatível com SNMP para integração com ferramentas de gerenciamento de terceiros e gerenciamento de alertas.
Como o RING não requer um kernel Linux personalizado, as opções de dimensionamento e atualização do sistema são independentes de hardware, limitadas apenas pela própria distribuição do Linux. Outra razão pela qual a RING está avançando com empresas como HPE e Dell é que a RING fornece ferramentas para fornecer serviços de armazenamento para sistemas e protocolos legados, a fim de consolidar dados de aplicativos legados em uma nova infraestrutura de armazenamento.
Arquiteturas de referência de armazenamento em bloco: Ceph
A HPE também fornece arquiteturas de referência para soluções de armazenamento de objetos baseadas em Ceph. O caso de uso da HPE para o Ceph é o descarregamento de dados frios da infraestrutura de armazenamento existente. O Ceph pode ser escalado para centenas de petabytes e pode ser configurado para fornecer armazenamento em bloco de baixo desempenho, bem como armazenamento de objetos. A HPE recomenda os nós Apollo 4530 para hosts de armazenamento em bloco de baixo desempenho ou efêmeros, e o Apollo 4510 é recomendado para hosts de armazenamento de objetos. O Ceph pode ser utilizado de diversas maneiras, e recentemente analisamos o SUSE Enterprise Storage , que também é executado em servidores Apollo.
Arquiteturas de referência do Hadoop: Cloudera e Hortonworks
A HPE fornece arquiteturas de referência para duas soluções Hadoop: Cloudera e Hortonworks. Ambas as arquiteturas de referência são verificadas para implantações densas de um rack, bem como para implantações maiores.
A HPE verificou essa configuração com Cloudera 5.3 e Cloudera Manager 5, mas HPE e Cloudera também suportam o uso de outras versões CDH 5.x com hardware Apollo 4000. Os clientes que usam o Cloudera em escala também podem usar o Cloudera Enterprise, uma oferta baseada em assinatura para provisionamento e gerenciamento de cluster, incluindo ambientes que exigem SLAs ou estornos mensuráveis. A arquitetura de referência Apollo 4000 para Hortonworks é baseada em Hortonworks Data Platform 2.2 e também é válida para versões HDP 2.x.
A HPE também traz alguns de seus próprios softwares para essas arquiteturas de referência do Hadoop. O HPE Vertica fornece processamento analítico para dados estruturados, como registros de detalhes de chamadas, fluxos de ticks financeiros e dados de weblog analisados. O Vertica pode ser usado conforme necessário com essas duas distribuições do Hadoop para lidar com cargas de alta velocidade e consultas ad hoc sobre dados relacionais.
O IDOL para Hadoop utiliza a plataforma de análise IDOL 10 da HPE para fornecer funcionalidade de armazenamento não estruturado dentro do Hadoop. Por exemplo, o IDOL KeyView extrai texto, metadados e informações de segurança dos dados para identificar campos confidenciais, como números de CPF e cartão de crédito, a fim de evitar que informações confidenciais sejam armazenadas acidentalmente no Hadoop.
Conclusão
A série HPE Apollo 4500 é uma plataforma notável voltada especificamente para projetos populares de desenvolvimento de software em larga escala, incluindo empresas como Cloudera, Scality e Ceph. Em sua essência, o Apollo 4500 combina os benefícios do armazenamento JBOD com recursos de computação local. O que torna a série 4500 única, porém, é que enquanto outros fornecedores podem posicionar um único servidor com vastos recursos de armazenamento ou um HA JBOD com dois servidores, a HPE cobre essa faixa e dá um passo adiante com o 4510 (um nó), 4520 ( dois nós) e modelos 4530 (três nós). Isso oferece exatamente o que os caras do armazenamento de objetos desejam, dependendo de como eles configuram suas plataformas. Esse design exclusivo se resume à demanda de réplicas de armazenamento de objetos, em que os usuários criam a necessidade de uma, duas ou três réplicas ao escolher seu nível de resiliência de armazenamento.
O Apollo 4530 que analisamos combina três servidores ProLiant Gen9 em um chassi de sistema onde 15 HDDs de 3.5" são alocados para cada nó. Essa é uma configuração conveniente e líder do setor para paralelismo e um avanço impressionante para densidade de computação na linha corporativa da HPE. Aproveitar três nós com até 450 TB de armazenamento em um único chassi é uma impressionante engenharia de hardware de bits, mas, mais importante, permite que o sistema aproveite a variedade de soluções de gerenciamento e integração disponíveis para os servidores Gen9 ProLiant atuais. Isso inclui o ambiente de gerenciamento sem agente iLO4, OneView para gerenciamento de servidor mais comum na empresa e o Insight Cluster Management Utility da HPE para gerenciamento de servidores em escala em ambientes de HPC e Big Data com contagem de nós de até 10,000. A combinação de software de gerenciamento torna a plataforma Apollo fácil de implantar e uma das – se não a mais – soluções robustas disponíveis por uma ampla margem.
O armazenamento definido por software não é apenas para cargas de trabalho de aplicativos corporativos convencionais. Como a HPE demonstrou com o Apollo e o 4530 especificamente, a engenharia de hardware exclusiva pode liberar um enorme potencial no lado do software quando se trata de lidar com grandes conjuntos de dados. À medida que mais organizações trazem HPC e Big Data para a empresa, a infraestrutura tradicional provavelmente não será a melhor maneira de concretizar essas iniciativas. Mais importante, para que esses novos programas sejam bem-sucedidos, será necessário um hardware específico que seja de “nível empresarial”. A relação custo-benefício da caixa branca é ótima em alguns lugares, mas para o negócio que a HPE visa, a necessidade de o hardware estar alinhado com o gerenciamento de servidor existente e os protocolos de suporte é fundamental. Seja iLO, OneView, CMU ou uma combinação dessas ferramentas juntamente com suporte de hardware no local, o Apollo 4530 é uma ótima solução para trazer projetos de análise e mineração de dados internamente em uma plataforma que foi fortalecida para essas tarefas específicas.
Amazon