O array de armazenamento compartilhado NVMe Over Fabrics (NVMf) Mangstor NX6325 oferece até 21.6 TB de armazenamento flash em um servidor HP DL380 2U. Assim como o NX6320 que analisamos no início deste ano , o NX6325 agrega os drives NVMe de placa adicional (AIC) da Mangstor e os distribui pela rede. Isso permite que aplicações sensíveis à latência aproveitem todos os benefícios do armazenamento NVMe, sem a necessidade de uma AIC em cada servidor. Quando combinado com o switch Mellanox SN2700 100GbE e o ConnectX4 (Ethernet ou InfiniBand), o NX6325 apresenta capacidades impressionantes, oferecendo desempenho de leitura de 12 GB/s e gravação de 9 GB/s em um único array.
A orquestração do armazenamento é feita pelo software TITAN da Mangstor. Vimos uma versão inicial do TITAN no NX6320; a Mangstor disponibilizou o software ao público em geral no início deste mês . Essencialmente, o TITAN proporciona uma integração estreita entre os SSDs NVMe e as placas de interface de rede (NICs) de Acesso Direto à Memória Remota (RDMA), utilizando de forma eficiente os recursos do servidor HPE. O TITAN permite que os gerentes de TI provisionem dinamicamente o armazenamento flash local ou remotamente, com gerenciamento centralizado. Os recursos também incluem funcionalidades como cache de armazenamento e gerenciamento de clusters, e o TITAN oferece uma API REST e ferramentas de GUI que permitem aos gerentes de TI implantar e gerenciar facilmente grandes clusters de armazenamento NVMe.
O Mangstor oferece duas opções de capacidade configuradas para Ethernet ou InfiniBand. Os compradores podem escolher entre um sistema de 10.8 TB configurado com quatro unidades de 2.7 TB ou um sistema de 21.6 TB com quatro unidades de 5.4 TB. Nosso sistema de avaliação é a configuração Ethernet de 10.8 TB.
Especificações do Mangstor NX6325
- Matrizes de armazenamento flash
- Ethernet
- NX6325R-016TF-2P100GQSF, 10.8 TB (4 x SSD de 2.7 TB)
- NX6325R-032TF-2P100GQSF, 21.6 TB (4 x 5.4 TB SSD)
- InfiniBand
- NX6325I-016TF-2P100GQSF, 10.8 TB (4 x SSD de 2.7 TB)
- NX6325I-032TF-2P100GQSF, 21.6 TB (4 x 5.4 TB SSD)
- Ethernet
- Largura de banda Rd/Wr (GB/s): 12.0 / 9.0
- Rendimento Rd/Wr (4K) (IOPS): 3.0M / 2.25M
- Energia
- 450 W Típico
- Potência Máxima de Pico 800W
- Conectividade I / O
- Ethernet QSFP 2x100Gb/s
- 2x100Gb/s QSFP InfiniBand
- Latência de leitura/gravação: 110uS / 30uS
- Atributos do dispositivo
- Montagem em rack 2U (AxLxP): 3.44 x 17.54 x 26.75 pol. (8.73 x 44.55 x 67.94 cm)
- Tensão de alimentação: 100 a 240 VAC, 50/60 Hz – 800 W Fonte de alimentação redundante
- Dissipação de calor (BTU/hr): 3207 BTU/hr (a 100 VAC), 3071 BTU/hr (a 200 VAC), 3112 BTU/hr (a 240 VAC)
- Corrente máxima de irrupção: 30A (duração 10ms)
- Peso aproximado: 51.5 lb (23.6 kg) totalmente preenchido
- Ambientais
- Suporte operacional padrão: 10° a 35°C (50° a 95°F) ao nível do mar com uma redução de altitude de 1.0°C a cada 305 m (1.8°F a cada 1000 pés) acima do nível do mar até um máximo de 3050 m (10,000 pés)
- Umidade: Não operacional 5 a 95% de umidade relativa (Rh), temperatura máxima de bulbo úmido de 38.7°C (101.7°F), sem condensação
- Suporte de protocolo de malha: RDMA sobre Ethernet convergente (RoCE), InfniBand, iWARP
- Suporte a SO cliente: RHEL, SLES, CentOS, Ubuntu, Windows, VMware ESXi 6.0 (VMDirectPath)
- Gerenciamento operacional: CLI, API RESTful, OpenStack Cinder
- Garantia de array e SSD: Hardware 5 anos; Software base 90 dias
- Garantia de software: Cobertura de 1 ano, 3 anos, 5 anos Gold ou Platinum Level Service e opções de suporte
Construir e projetar
No array NX6320 analisado anteriormente, a Mangstor aproveitou uma plataforma baseada no Dell R730. Desta vez, com o NX6325, eles estão usando um HPE ProLiant DL380 Gen9. Embora aparentemente a mudança pareça “igual por igual”, a mudança é significativa para os clientes que desejam implantar Ethernet de 100 Gb ou Infiniband, levando o potencial de armazenamento ao máximo. O Dell R730 oferece 7 slots PCIe 3.0; quatro Full Height x16 e três Half Height x8. O HPE DL380 Gen9 tem apenas 6 slots de expansão PCIe 3.0, embora com um kit riser PCIe apropriado, os usuários possam criar uma configuração com seis slots Full Height x16.
Essa diferença é significativa, já que os cartões que a Mangstor oferece são SSDs PCIe Full Height e os NICs Mellanox ConnectX-100 de 4 GbE são slots x16. Na configuração Dell, os usuários teriam que descartar um SSD PCIe para caber na placa de 100 GbE, enquanto na configuração HPE, os usuários podem equipar o sistema com 4 SSDs PCIe e duas NICs de 100 GbE ao mesmo tempo. Isso é menos um argumento sobre qual servidor é melhor que o outro, mas sim uma análise sobre qual servidor funciona melhor com essa combinação de cartas bastante única. Mangstor aponta que, para clientes que desejam usar Ethernet de 40 Gb ou Infiniband de 56 Gb, os produtos NX6320 e NX6325 oferecem recursos e desempenho equivalentes. Como estamos testando a Ethernet de 100 Gb nesta análise, o NX6325 é a escolha certa.
Desempenho do Sysbench
Cada VM do Sysbench é configurada com três vDisks: um para inicialização (~92 GB), um com o banco de dados pré-construído (~447 GB) e o terceiro para o banco de dados em teste (307 GB). Os LUNs são distribuídos igualmente, com 90% do armazenamento utilizável (11 TB) alocado para acomodar adequadamente o banco de dados (253 GB). Em termos de recursos do sistema, configuramos cada VM com 16 vCPUs, 60 GB de DRAM e utilizamos o controlador SCSI SAS da LSI Logic. Os sistemas de geração de carga são servidores Dell R730 ; utilizamos de quatro a oito servidores nesta análise, dimensionando-os para cada grupo de 4 VMs.
Especificações de cluster de 730 nós do Dell PowerEdge R8
- Servidores Dell PowerEdge R730 (x8)
- CPUs: Dezesseis Intel Xeon E5-2690 v3 2.6GHz (12C/24T)
- Memória: 128 x 16 GB DDR4 RDIMM
- Mellanox ConnectX-4 LX
- VMware ESXi 6.0
Nossa análise anterior do Mangstor NX6320 utilizou cartões Mellanox ConnectX-3 e drivers OFED ESXi 6.0, onde um cartão foi atribuído a cada VM (limitando nossa escala ao número de NICs disponíveis). A iteração atual do NX6325 com placas Mellanox ConnectX-4 LX e os drivers SRIOV mais recentes nos permitiu compartilhar vários adaptadores virtuais com até 4 VMs ao mesmo tempo. Com uma placa alocada por servidor, usamos essa configuração para nos permitir escalar para testar 32 VMs no total.
Sob uma carga total de 32 VMs, vimos cada servidor estabilizar com aproximadamente 86% de utilização da CPU.
Configuração de teste do Sysbench (por VM)
- CentOS 6.3 64 bits
- Pegada de armazenamento: 1 TB, 800 GB usados
- Percona XtraDB 5.5.30-rel30.1
- Tabelas de banco de dados: 100
- Tamanho do banco de dados: 10,000,000
- Segmentos de banco de dados: 32
- Memória RAM: 24 GB
- Duração do teste: 3 horas
- 2 horas de pré-condicionamento 32 tópicos
- 1 hora 32 tópicos
Em nosso teste Sysbench OLTP, levamos o array de uma pequena carga de 4 VMs até um ponto de saturação total com 32 VMs. O Mangstor NX6325 atingiu alguns recordes impressionantes. Para começar, ele ofereceu o desempenho mais rápido no Sysbench que não era flash conectado localmente e, em comparação com qualquer outra coisa que já testamos, elevou a fasquia em mais de um fator de dois. O NX6325 atingiu o máximo de 38,673 TPS, enquanto o recordista anterior para uma solução moderna de armazenamento compartilhado em flash chegou a “apenas” 17,316 TPS.
Olhando para a latência, descobrimos que o NX6325 lidou muito bem com carga, mantendo a latência transacional geral em uma faixa de 14.3 ms em 4 VMs a 26.6 ms em 32 VMs. Portanto, enquanto a carga aumentou 8x, a latência nem dobrou.
Olhando para a latência marginal com nossos números de percentil 99, o Mangstor NX6325 se comportou muito bem sob carga. Vimos os valores aumentarem lentamente à medida que a carga geral aumentava, mas nada aumentava drasticamente.
Conclusão
A matriz de armazenamento compartilhado Mangstor NX6325 NVMe Over Fabrics (NVMf) é um dos primeiros sistemas disponíveis comercialmente que permite que o armazenamento NVMe muito rápido seja retirado dos servidores de aplicativos e colocado em uma caixa onde pode ser aproveitado por um cluster inteiro de servidores . Nesse caso, o NX6325 que estamos analisando oferece até 10.8 TB de armazenamento NVMe em um HPE ProLiant DL380 Gen9, em uma malha que consiste em um switch Mellanox SN2700 de 100 GbE e placas adaptadoras ConnectX4 LX. O resultado líquido é um pacote absolutamente escaldante a ponto de ser o armazenamento compartilhado mais rápido que já chegou ao laboratório. Para ser justo, isso não é diretamente comparável a outras coisas rápidas que vimos (como o SAN totalmente flash mais tradicional) e, por isso, algumas coisas precisam ser esclarecidas.
O NVMf ainda é um conceito muito jovem em termos de execução. O Mangstor, por sua vez, está muito adiantado no caminho e, para aplicativos extremamente sensíveis à latência, os resultados são fenomenais. Algumas coisas ainda precisam amadurecer para deslocar a tecnologia SAN para todos os lugares, mas para cargas de trabalho importantes, é uma opção fantástica. Comparado a outras soluções NVMf, o Mangstor aproveita Ethernet ou IB existente para a malha, tornando-o mais compatível do que alguns que usam hardware personalizado. Também é importante observar que a forma como o armazenamento é apresentado neste array não oferece proteção contra uma falha do SSD PCIe. A matriz é configurada em RAID0 para desempenho e capacidade máximos. Existem alguns aplicativos que podem lidar com sistemas como esse, mas para cargas de trabalho tradicionais, deve-se enfatizar que essa matriz não é “tamanho único”.
Olhando para o desempenho em nosso teste Sysbench OLTP, vimos números extraordinários. Em 4 VMs, o TPS agregado foi maior do que o total oferecido pela maioria dos arrays ou o que o flash NVMe conectado localmente pode oferecer. Aumentando essa carga de trabalho aumentando o número de VMs, vimos o desempenho agregado continuar subindo até ultrapassar a solução de armazenamento compartilhado flash mais próxima por mais de um fator de dois. A principal desvantagem do nosso ambiente no momento é o suporte ao driver, o que impede que ele seja usado como um armazenamento de dados compartilhado da VMware. Isso apresenta alguns desafios, como migração de VM (sendo vinculada a um dispositivo de rede virtual) ou suporte a sistema operacional convidado, que atualmente é centrado no Linux. No entanto, para os usuários que podem contornar essas limitações, o Mangstor NX6325 abre as portas para níveis de desempenho que poucas soluções concorrentes podem igualar.
Prós
- Aproveita todo o potencial de desempenho do NVMe e o compartilha em uma rede de alta velocidade
- A solução de armazenamento compartilhado mais rápida que testamos até o momento
- Não vinculado a hardware personalizado para a malha de rede
Contras
- Requer bastante configuração manual
Concluindo!
A matriz de armazenamento compartilhado Mangstor NX6325 NVMe Over Fabrics (NVMf) oferece desempenho flash NVMe excepcionalmente rápido em uma malha Ethernet compartilhada.
Amazon