Hoy, en el Open Compute Project Summit, Facebook anuncia su NVMe JBOF (solo un montón de flash) flexible, Lightning. Facebook está introduciendo Lightning como un bloque de construcción flash o trineo flash. Lightning permitirá que los centros de datos escalen mejor la capacidad flash en múltiples aplicaciones mientras ajustan la relación de cómputo-almacenamiento. Facebook está contribuyendo con este nuevo JBOF al Open Compute Project.
Facebook ha sido grande en el uso de flash desde hace algún tiempo. Lo usan para caché, aplicaciones de base de datos y unidades de arranque. Si bien flash les brinda el rendimiento que buscan, tiene algunos inconvenientes, como no escalar de manera efectiva. La densidad del flash se duplica aproximadamente cada año y medio, lo que hace que el escalado eficiente sea un problema. Facebook ha estado buscando formas de minimizar la cantidad de componentes básicos de hardware mientras maximiza la cantidad total de flash disponible para determinadas aplicaciones. Facebook vio la desagregación de los componentes de hardware y software como una posible solución para mejorar su eficiencia operativa. Introduzca su JBOF, Lightning.
Lightning proporciona una conexión PCIe gen 3 de extremo a extremo (CPU a SSD). Para proporcionar un tiempo de comercialización más rápido, mantener una apariencia común, habilitar la modularidad en las soluciones de conmutador PCIe y permitir la flexibilidad en los factores de forma SSD, Facebook está aprovechando la infraestructura JBOD SAS Open Vault (Knox) existente. Facebook tuvo que usar una determinada topología para implementar el nuevo JBOF (en la foto de arriba) y los nuevos tableros:
- Tarjeta de temporizador PCIe. Esta tarjeta x16 PCIe gen 3 está instalada en el servidor Leopard, que se utiliza como nodo principal para JBOF. Es un diseño simple, de bajo costo y bajo consumo para retransmitir las señales PCIe a través de cables externos mini-SAS HD (SFF-8644) de al menos 2 metros.
- Tarjeta de expansión PCIe (PEB). El conmutador PCIe, el Lightning BMC y todos los circuitos de soporte del conmutador se encuentran en esta placa. Se instala un PEB por bandeja de SSD y reemplaza la placa de expansión SAS (SEB) utilizada en Knox. Esto nos permite usar un tablero de interruptores común para ambas bandejas y también nos permite diseñar fácilmente versiones nuevas o diferentes (con interruptores de próxima generación, por ejemplo) sin modificar el resto de la infraestructura. Cada PEB presenta hasta 32x carriles de PCIe como enlace(s) ascendente(s) al retemporizador en el nodo principal y 60x carriles de PCIe a los SSD. El PEB se puede intercambiar en caliente si falla sin afectar a la otra bandeja del sistema.
- Placa de plano de accionamiento PCIe (PDPB). El PDPB contiene los 15 conectores SSD SFF-8639 (U.2) y los circuitos de soporte. Cada conector o ranura SSD está conectado a 4 carriles de PCIe, relojes PCIe, restablecimiento de PCIe y señales de banda lateral adicionales del conmutador o conmutadores PCIe en el PEB. Cada ranura SSD también se puede bifurcar en puertos 2x x2, lo que nos permite duplicar la cantidad de SSD por bandeja de 15x a 30x (de 30x por sistema a 60x por sistema) sin necesidad de una capa adicional de conmutación PCIe.
Sus beneficios incluyen:
- Lightning puede admitir una variedad de factores de forma de SSD, incluidos SSD de 2.5", M.2 y 3.5".
- Lightning admitirá la adición en caliente sorpresa y la eliminación en caliente sorpresa de SSD para que los reemplazos de campo sean tan simples y transparentes como los JBOD de SAS.
- Lightning utilizará un chip ASPEED AST2400 BMC que ejecuta OpenBMC.
- Lightning admitirá múltiples configuraciones de interruptores, lo que nos permite admitir diferentes configuraciones de SSD (por ejemplo, SSD 15x x4 frente a SSD 30x x2) o diferentes asignaciones de nodo principal a SSD sin cambiar el HW de ninguna manera.
- Lightning será capaz de admitir hasta cuatro nodos principales. Al admitir múltiples nodos principales por bandeja, podemos ajustar la proporción de cómputo a almacenamiento según sea necesario simplemente cambiando la configuración del conmutador.
Si bien todo NVMe suena como una idea maravillosa, hay algunas preocupaciones que deben abordarse antes de que puedan implementarse en los centros de datos en todas partes. NMVe no se puede conectar ni agregar en caliente de la misma manera que se puede hacer con las unidades SAS. Actualmente, la conexión en caliente de PCIe es complicada. PCIe no tiene un esquema de administración de gabinete y chasis en banda como el SAS, lo que hace que la administración sea complicada. Parte del diseño y las nuevas placas se ocupan de mantener la integridad de la señal. En lugar de usar cables PCIe externos, Facebook eligió cables mini-SAS HD (SFF-8644). Los cables utilizan un complemento completo de señales de banda lateral PCIe y una conexión USB para una conexión de gestión fuera de banda. Y Facebook está lidiando con el consumo de energía de NVMe, un SSD NVMe de 2.5 ”puede usar hasta 25W. Lightning limita la potencia a 14 W por ranura.
Lightning está diseñado para ser una solución flexible y escalable para flash. Admite múltiples factores de forma SSD y múltiples nodos principales mientras usa un nivel de potencia que tiene sentido para su IOPS/TB objetivo. Agregar esta solución a OCP debería reforzar el ecosistema NVMe y acelerar la adopción de SSD NVMe.
Amazon