No Open Compute Project Summit hoje, o Facebook está anunciando seu NVMe JBOF flexível (apenas um monte de flash), Lightning. O Facebook está apresentando o Lightning como um bloco de construção em flash, ou trenó em flash. O Lightning permitirá que os datacenters dimensionem melhor a capacidade de flash em vários aplicativos enquanto ajustam a proporção de computação para armazenamento. O Facebook está contribuindo com este novo JBOF para o Open Compute Project.
O Facebook tem sido grande em usar flash por algum tempo agora. Eles o usam para cache, aplicativos de banco de dados e unidades de inicialização. Embora o flash forneça o desempenho que eles procuram, ele tem algumas desvantagens, como não dimensionar com eficiência. A densidade do flash dobra aproximadamente a cada ano e meio, tornando o dimensionamento eficiente um problema. O Facebook tem procurado maneiras de minimizar o número de blocos de construção de hardware enquanto maximiza a quantidade total de flash disponível para determinados aplicativos. O Facebook viu a desagregação dos componentes de hardware e software como uma possível solução para melhorar sua eficiência operacional. Digite seu JBOF, Lightning.
O Lightning fornece uma conexão PCIe gen 3 de ponta a ponta (CPU para SSD). Para fornecer um tempo mais rápido para o mercado, manter uma aparência comum, habilitar modularidade em soluções de switch PCIe e permitir flexibilidade em fatores de forma SSD, o Facebook está aproveitando a infraestrutura Open Vault (Knox) SAS JBOD existente. O Facebook teve que usar uma certa topologia para implementar o novo JBOF (foto acima) e novas placas:
- Placa retimer PCIe. Esta placa x16 PCIe gen 3 está instalada no servidor Leopard, que é usado como um nó principal para o JBOF. É um projeto simples, de baixo custo e baixo consumo de energia para retransmitir os sinais PCIe através de cabos externos mini-SAS HD (SFF-8644) de pelo menos 2 metros.
- Placa de expansão PCIe (PEB). O comutador PCIe, o Lightning BMC e todos os circuitos de suporte do comutador estão localizados nesta placa. Um PEB é instalado por bandeja de SSDs e substitui a placa de expansão SAS (SEB) usada no Knox. Isso nos permite usar uma placa de distribuição comum para ambas as bandejas e também nos permite projetar facilmente versões novas ou diferentes (com switches de próxima geração, por exemplo) sem modificar o restante da infraestrutura. Cada PEB possui até 32 vias de PCIe como uplink(s) para o retimer no nó principal e 60 vias de PCIe para os SSDs. O PEB pode ser trocado a quente se falhar sem afetar a outra bandeja no sistema.
- PCIe Drive Plane Board (PDPB). O PDPB contém os conectores SSD 15x SFF-8639 (U.2) e os circuitos de suporte. Cada conector SSD, ou slot, é conectado a 4 pistas de PCIe, relógios PCIe, redefinição de PCIe e sinais adicionais de banda lateral do comutador PCIe ou comutadores no PEB. Cada slot SSD também pode ser bifurcado em portas 2x x2, o que nos permite dobrar o número de SSDs por bandeja de 15x para 30x (de 30x por sistema para 60x por sistema) sem exigir uma camada adicional de comutação PCIe.
Os benefícios incluem:
- O Lightning pode suportar uma variedade de formatos de SSD, incluindo SSDs de 2.5", M.2 e 3.5".
- O Lightning oferecerá suporte a adição e remoção a quente surpresa de SSDs para tornar as substituições de campo tão simples e transparentes quanto os JBODs SAS.
- A Lightning usará um chip ASPEED AST2400 BMC executando o OpenBMC.
- O Lightning oferecerá suporte a várias configurações de switch, o que nos permite oferecer suporte a diferentes configurações de SSD (por exemplo, SSDs 15x x4 vs. SSDs 30x x2) ou nó de cabeça diferente para mapeamentos de SSD sem alterar o HW de forma alguma.
- O Lightning será capaz de suportar até quatro nós principais. Ao oferecer suporte a vários nós principais por bandeja, podemos ajustar a taxa de computação para armazenamento conforme necessário simplesmente alterando a configuração do switch.
Embora um NVMe totalmente pareça uma ideia maravilhosa, há algumas preocupações que precisam ser abordadas antes que possam ser implementadas em data centers em qualquer lugar. O NMVe não pode ser conectado ou adicionado automaticamente da mesma forma que as unidades SAS. Atualmente, o hot-plugging do PCIe é complicado. O PCIe não possui um gabinete in-band e um esquema de gerenciamento de chassi como o SAS, tornando o gerenciamento complicado. Parte do layout e das novas placas lida com a manutenção da integridade do sinal. Em vez de usar cabos PCIe externos, o Facebook escolheu cabos HD mini-SAS (SFF-8644). Os cabos usam um conjunto completo de sinais de banda lateral PCIe e uma conexão USB para uma conexão de gerenciamento fora de banda. E o Facebook está lidando com o consumo de energia do NVMe, um SSD NVMe de 2.5” pode usar até 25W. A Lightning está limitando a potência a 14W por slot.
O Lightning foi projetado para ser uma solução flexível e escalável para flash. Ele oferece suporte a vários fatores de forma de SSD e a vários nós principais enquanto usa um nível de energia que faz sentido para seu IOPS/TB direcionado. Adicionar esta solução ao OCP deve fortalecer o ecossistema NVMe e acelerar a adoção de SSDs NVMe.
Amazon