Quase dois anos atrás, concluímos a revisão de um servidor de armazenamento Viking Enterprise Solutions (VES) com 24 compartimentos NVMe e nós de computação duplos em um chassi de 2U. A VES é uma importante OEM, criando alguns dos sistemas de servidor de armazenamento mais inovadores do mercado. Recentemente, tivemos a oportunidade de testar uma versão de seu servidor de armazenamento ajustada para unidades NVMe de porta única. Naturalmente, pegamos 24 SSDs QLC Solidigm P5316 de 30.72 TB, os colocamos no servidor e recuamos para ver o que quase 750 TB de flash RAW podem fazer.
Quase dois anos atrás, concluímos a revisão de um servidor de armazenamento Viking Enterprise Solutions (VES) com 24 compartimentos NVMe e nós de computação duplos em um chassi de 2U. A VES é uma importante OEM, criando alguns dos sistemas de servidor de armazenamento mais inovadores do mercado. Recentemente, tivemos a oportunidade de testar uma versão de seu servidor de armazenamento ajustada para unidades NVMe de porta única. Naturalmente, pegamos 24 SSDs QLC Solidigm P5316 de 30.72 TB, os colocamos no servidor e recuamos para ver o que quase 750 TB de flash RAW podem fazer.
Além de seu trabalho OEM, a VES também vende para uma variedade de clientes HPC e Hyperscale. Essa é uma consideração importante porque, conforme consideramos o desempenho do servidor de armazenamento fora do domínio corporativo tradicional, a maneira como as organizações com grande volume de dados configuram o armazenamento é diferente.
Muitas das cargas de trabalho que esses servidores visam são o que consideramos aplicativos modernos de análise e IA, onde o desempenho é crítico e a disponibilidade de dados um pouco menos. Dessa forma, essas configurações não se parecem com uma SAN tradicional, onde os serviços de dados e a resiliência são o foco principal. Neste exemplo, estamos configurando o desempenho ideal no servidor de armazenamento VES em vez de adicionar placas de E/S e aproveitar o servidor como armazenamento compartilhado.
Essa nuance de configuração é importante. Estamos entregando 12 dos SSDs P5316 para cada nó de computação AMD EPYC na parte traseira do sistema. Esses nós abordam o armazenamento em JBOD, assumindo resiliência no nível do aplicativo para disponibilidade de dados. Embora não tenhamos aproveitado GPUs para este relatório, é bastante razoável configurar esses nós com algo como um NVIDIA A2 para análises ou cargas de trabalho de inferência.
Antes de nos aprofundarmos muito na configuração do servidor e do armazenamento, vamos examinar os principais componentes de hardware que fazem parte deste trabalho.
Servidor de armazenamento Viking Enterprise Solutions VSS2249P
Para este trabalho, fomos ao VES para encontrar um servidor poderoso que pudesse tirar o máximo proveito dos 24 SSDs Solidigm P5316 de 30.72 TB na frente. Esta não é uma questão trivial; as unidades de porta única terão melhor desempenho em uma solução que pode fornecer quatro pistas PCIe v4 de um dos nós de servidor AMD para cada unidade. O acesso direto oferece o mais alto desempenho de cada SSD, em vez de fluir por meio de um expansor interno que pode limitar a largura de banda. Além disso, este sistema foi projetado para SSDs de porta única, como o Solidigm P5316, em comparação com a análise do Viking Enterprise Server anterior, que foi projetado para SSDs de porta dupla.
Destaques Viking Enterprise Solutions VSS2249P
O Viking Enterprise Solutions VSS2249P é um servidor de armazenamento de nó duplo 2U com 24 compartimentos para unidades U.2 PCIe v4 de porta única. Mais especificamente, cada nó de servidor (ou módulo) oferece suporte a 12 SSDs U.2.5 (SFF-2) NVMe de 8639 polegadas hot-pluggable de porta única por meio de pistas x4 PCIe Gen4, tornando-o um servidor orientado para o desempenho. Isso o torna ideal para casos de uso em que gargalos de E/S podem ser um problema, como armazenamento de computação de borda, análise, aprendizado de máquina, IA, bancos de dados OLTP, negociação de alta frequência, bem como modelagem, simulação, pesquisa científica e outros casos de uso de alto desempenho.
A VES é uma empresa líder em armazenamento e desenvolvimento de servidores, especializada no desenvolvimento de soluções em grande escala para clientes OEM corporativos de alto desempenho e computação em nuvem. Devido ao seu amplo portfólio de clientes, eles têm uma vasta experiência em alavancar tecnologias emergentes ao desenvolver suas soluções, o que pode ajudar a dar aos seus clientes uma vantagem competitiva. Esperamos muito do mesmo com o VSS2249P.
Solidigm D5-P5316
Já tivemos esse servidor em nosso laboratório antes, mas desta vez os preenchemos com 30.72 TB Solidigm D5-P5316 SSDs PCIe Gen4 NVMe, que equivalem a quase três quartos de um petabyte para armazenamento por meio do fator de forma U.2 de 15 mm. Isso permitirá que os clientes (especificamente no espaço de hiperescala) tenham implantações em larga escala. As unidades D5-P5316 também apresentam QLC NAND de 144 camadas, o que reduzirá os custos, mantendo modelos de alta capacidade e desempenho sólido.
O D5-P5316 é cotado para fornecer até 7 GB/s em leituras sequenciais, enquanto os modelos de 30.72 TB oferecem um pouco mais de velocidade em gravações com 3.6 GB/s. Em leituras aleatórias de 4K, a Solidigm cita sua nova unidade em 800,000 IOPS para todos os modelos. A unidade também apresenta uma classificação de 0.41 gravações de unidade por dia (DWPD), uma garantia de 5 anos e uma variedade de segurança aprimorada, incluindo criptografia de hardware AES-256, sanitização NVMe e medição de firmware.
Essas unidades são ideais para ambientes que precisam otimizar e acelerar o armazenamento nas cargas de trabalho do data center, como redes de entrega de conteúdo (CDN), infraestrutura hiperconvertida (HCI) e big data.
No geral, descobrimos que a Solidigm criou uma unidade que encontra um excelente equilíbrio entre capacidade, desempenho e custo – o que é perfeito para o VSS2249P.
Componentes e construção do Viking Enterprise Solutions VSS2249P
Os dois módulos de servidor dentro do gabinete VSS2249P são hot-swappable e estão equipados com uma CPU AMD EPYC Rome, dois slots x16 PCIe Gen4 e um OCPNIC v3.0 que suporta placas suplementares Gen 4 PCIe e até 8 DIMMs. Com 3.43 polegadas (A) x 17.2 polegadas (L) x 27.44 polegadas (P), o VSS2249P também é especificado para caber perfeitamente em um rack padrão de 19 polegadas e 1.0 metro, permitindo que seja implantado em um variedade de aplicações.
Cada nó em nossa configuração inclui uma CPU AMD EPYC 7402P, que possui 24 núcleos, um clock base de 2.8 GHz (aumento máximo de 3.35 GHz), 48 threads e 128 MB em cache L3. Também é equipado com 64 GB de RAM DDR4 (8 x 8 GB) e um SSD de inicialização M.250 de 2 GB.
O VSS2249P foi projetado como um sistema sem cabos. Por exemplo, o plano da unidade fornece conectividade para energia, dados e gerenciamento, bem como as PSUs. Os ventiladores do sistema também fazem parte do conjunto do sled do servidor (conectado ao plano de acionamento por meio da placa do ventilador) e são alimentados e controlados pelo plano de acionamento. Para facilitar o acesso, os ventiladores são removidos pela tampa superior. Todos os SSDs se conectam diretamente ao plano intermediário. Isso torna a manutenção do VSS2249P perfeita, enquanto a falta de cabos permite um melhor fluxo de ar e, portanto, nós de servidor mais frios.
Especificações Viking VSS2249P
| Recinto | 2 nós, unidades de porta única |
| Slots PCIe Gen 4 | Dois x16 HH/HL, um x16 Gen OCP v3 |
| NTB | N/D |
| caixa do servidor | CPU única, 8 slots DDR4 DIMM |
| firmware |
|
| CPU | CPU EPYC (ROMA ou MILÃO) |
| Rede de gerenciamento | 1GbE – Porta de gerenciamento |
| Servidores |
|
| Memória |
|
| Interfaces Externas | 1 USB, 1 Displayport, 1 Gb IPMI, 1 porta de console MicroUSB |
| alimentação AC |
|
| Componentes de troca a quente |
|
| Ambiente de trabalho |
|
| Ambiente Não Operacional |
|
| Dimensões e Peso do Gabinete 2U |
|
24 testes de desempenho Solidigm D5-P5316
Enquanto a maioria de nós olha para o flash QLC como uma alternativa de baixo desempenho aos SSDs TLC, isso é apenas olhar para um lado da equação. O desempenho de gravação aleatória de blocos menores pode ser menor devido a decisões arquitetônicas, como indireção grosseira, mas as gravações sequenciais e o desempenho de gravação aleatória de blocos grandes são muito competitivos e muito próximos dos SSDs DC TLC de nível básico.
Com o flash baseado em TLC no mercado, as velocidades de gravação são menores, mas o desempenho de leitura ainda é altamente capaz, se não completamente competitivo. Nosso foco nesta análise foi alavancar 24 SSDs Solidigm P5316 de 30.72 TB em um servidor de 2 nós, mostrando até onde podemos levá-los com muita computação por trás deles.
A última vez que analisamos um sistema semelhante da Viking Enterprise Solutions, ele foi criado para compartilhar 24 SSDs em dois nós, com cada nó tendo acesso de vários caminhos a cada SSD. O VSS2249P usa nós semelhantes no back-end, embora 12 SSDs sejam conectados diretamente a um nó, com os 12 restantes ao outro. Isso dá a cada SSD 4 canais completos de pistas PCIe Gen4 de volta ao nó ao qual está conectado.
Instalamos o Ubuntu 20.04 em cada servidor e aproveitamos o FIO para saturar simultaneamente todos os 24 SSDs Solidigm P5316. Cada SSD foi totalmente preenchido com um preenchimento sequencial e, em seguida, particionado para concentrar a carga de trabalho em 5% da superfície da unidade. Nós nos concentramos em tamanhos de bloco otimizados para QLC, que se sobrepõem à mídia flash tradicional. A principal diferença se resume a minimizar a atividade de gravação menor que 64K, o que força um ponto problemático de redirecionamento de gravação do flash QLC. Com isso dito, as cargas de trabalho que medimos foram as seguintes:
- 1MB sequencial
- 64K sequencial
- 64K aleatório
- 64K Aleatório 70R/30W
- 64K Aleatório 90R/10W
- Leitura aleatória 4K
Em nosso primeiro teste com um tamanho de transferência sequencial de 1 MB, medimos incríveis 175.5 GB/s de largura de banda em 24 dos SSDs P5316. Isso resultou em pouco mais de 7.3 GB/s por SSD no front-end. Com uma carga de trabalho de gravação sequencial de 1 milhão, essa quantidade foi medida em 56.1 GB/s ou 2.34 GB/s por SSD.
Reduzindo o tamanho do bloco para uma carga de trabalho de 64 K, os SSDs Solidigm P5316 ofereciam 159 GB/s de largura de banda ou mais de 6.62 GB/s por SSD. A carga de trabalho de gravação mediu 57.7 GB/s ou 2.40 GB/s por SSD.
Como nem todas as cargas de trabalho são sequenciais, passamos para um conjunto de trabalho aleatório de 64K mais exigente, que colocou os SSDs QLC em uma de suas situações mais estressantes. O tráfego de leitura teve sua maior largura de banda, com insanos 176.3 GB/s de tráfego. Mudando de leitura para gravação, porém, é aqui que os SSDs P5316 viram o maior estresse, medindo 13.2 GB/s ou 550 MB/s por unidade. Isso está de acordo com os números da planilha de especificações para essa carga de trabalho, mas mostra onde esses SSDs atingem seu limite.
Sabendo que a leitura aleatória de 64K oferecia o maior desempenho do drive e a gravação oferecia o menor, examinamos uma combinação de carga de trabalho mista para ver como esses drives variam conforme o equilíbrio de leitura/gravação é alterado. Com uma carga de trabalho aleatória de 70K de leitura de 64%, o grupo de unidades mediu 44 GB/s. No entanto, quando ajustamos isso para 90% de leitura, a largura de banda disparou para 130.7 GB/s. Isso leva ainda mais ao ponto em que os SSDs QLC implantados nas situações certas podem ser unidades poderosas, embora não sejam projetados para substituir os SSDs TLC em todas as situações.
Concluindo o teste, analisamos um teste de taxa de transferência de pico com foco no desempenho de leitura aleatória de 4K. A gravação em 4K foi ignorada porque essas unidades usam uma unidade de indireção grosseira de 64K e não fornecem o melhor desempenho em 4K. Na leitura aleatória de 4K, medimos quase 87 GB/s de tráfego de 4K ou 21.2 milhões de IOPS. Essa é uma estatística impressionante, alinhada de perto com as ofertas de SSD TLC no mercado.
Considerações Finais
Fizemos um trabalho extensivo com os SSDs QLC da Solidigm no passado, mas este é de longe o trabalho mais significativo que fizemos com eles até hoje, bloqueando quase 750 TB de armazenamento em um servidor 2U. Queríamos ver como as unidades funcionam em uma configuração em que aplicativos como análise e inferência podem aproveitar o design moderno da plataforma. Embora o sentimento geral em relação ao QLC seja bom apenas para projetos de valor ou arquivo, isso não poderia estar mais longe da verdade.
Olhando para o desempenho, podemos ver que os SSDs P5316 no servidor de armazenamento VES VSS2249P foram capazes de postar resultados surpreendentes. O desempenho sequencial de blocos grandes é saturante do servidor, com cada SSD quase maximizando sua baia Gen4 U.2 em desempenho de leitura. Medimos 175.5 GB/s na leitura de 1M, o que resultou em 7.3 GB/s por SSD.
O desempenho de leitura aleatória também foi ótimo, chegando a 176.3 GB/s em um tamanho de bloco de 64K. Mas não durma com o desempenho de gravação; as unidades se saíram muito bem em grandes cargas de trabalho bloqueadas. A gravação sequencial de 64K mediu 57.7 GB/s, enquanto a aleatória de 64K diminuiu para 13.2 GB/s. As cargas de trabalho mistas com foco na atividade de leitura tiveram um desempenho muito bom, onde medimos 44 GB/s em 64K 70/30 e pouco menos de 131 GB/s em 64K 90/10. Por fim, para leitura aleatória de pequenos blocos, medimos incríveis 86.9 GB/s ou 21.2 milhões de IOPS em nossa carga de trabalho de 4K.
No passado, trabalhamos com a versão HA de nó duplo deste Servidor Viking Enterprise aproveitando SSDs TLC de porta dupla. Embora não sejam exatamente maçãs com maçãs, existem algumas linhas de tendência interessantes que mostram que esses SSDs QLC resistem muito bem às soluções TLC.
Ambos os conjuntos de unidades foram capazes de conduzir uma quantidade imensa de largura de banda, com os SSDs TLC medindo 125 GB/s e os SSDs Solidigm P5316 QLC medindo 159 GB/s em leitura sequencial de 64K. O desempenho de gravação também foi próximo, com os SSDs TLC medindo 63.2 GB/s em gravação sequencial de 64K em comparação com os P5316s com 57.7 GB/s.
Esses dados não pretendem sugerir que o QLC é um substituto completo para o TLC em todos os aplicativos, o TLC ainda tem uma grande vantagem como porcentagem de gravação e a necessidade de aumentos de resistência. Para muitos casos de uso, porém, os SSDs QLC estão prontos para implantação e geralmente podem ser mais rápidos do que os concorrentes TLC, especialmente quando a carga de trabalho não é muito intensiva em gravação.
Além disso, se você precisar de uma combinação de capacidade e desempenho, os SSDs QLC DC vencerão, esta é uma combinação única que a QLC e, no futuro, os SSDs PLC, estão bem posicionados para atender. Dado que publicamos mais de 175 GB/s neste servidor de armazenamento VES em quase 3/4 de um PB de armazenamento em 2U, a eficiência do rack parece bastante atraente.
A Solidigm patrocina este relatório. Todas as visões e opiniões expressas neste relatório são baseadas em nossa visão imparcial do(s) produto(s) em consideração.
Envolva-se com a StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | RSS feed
