在今天的开放计算项目峰会上，Facebook 宣布了其灵活的 NVMe JBOF（只是一堆闪存）Lightning。 Facebook 正在引入 Lightning 作为闪存构建块或闪存雪橇。 Lightning 将允许数据中心更好地跨多个应用程序扩展闪存容量，同时调整计算与存储的比率。 Facebook 正在将这个新的 JBOF 贡献给开放计算项目。
在今天的开放计算项目峰会上，Facebook 宣布了其灵活的 NVMe JBOF（只是一堆闪存）Lightning。 Facebook 正在引入 Lightning 作为闪存构建块或闪存雪橇。 Lightning 将允许数据中心更好地跨多个应用程序扩展闪存容量，同时调整计算与存储的比率。 Facebook 正在将这个新的 JBOF 贡献给开放计算项目。
一段时间以来，Facebook 一直大力使用 Flash。 他们将其用于缓存、数据库应用程序和引导驱动器。 虽然闪存为他们提供了他们正在寻找的性能，但它也有一些缺点，例如不能有效扩展。 闪存密度大约每半年翻一番，这使得高效扩展成为一个问题。 Facebook 一直在寻找方法来最大限度地减少硬件构建块的数量，同时最大限度地增加给定应用程序可用的闪存总量。 Facebook 将分解硬件和软件组件视为提高运营效率的可能解决方案。 输入他们的 JBOF，Lightning。
Lightning 提供端到端（CPU 到 SSD）的 PCIe gen 3 连接。 为了加快上市速度、保持通用外观、在 PCIe 交换机解决方案中实现模块化并在 SSD 外形规格中实现灵活性，Facebook 正在利用现有的 Open Vault (Knox) SAS JBOD 基础架构。 Facebook 必须使用某种拓扑结构来实现新的 JBOF（如上图所示）和新的看板：
- PCIe 重定时器卡。 这个 x16 PCIe gen 3 卡安装在 Leopard 服务器中，用作 JBOF 的头节点。 通过至少 8644 米的外部 mini-SAS HD (SFF-2) 电缆重新传输 PCIe 信号是一种简单、低成本、低功耗的设计。
- PCIe 扩展板 (PEB)。 PCIe 开关、Lightning BMC 和所有开关支持电路都位于该板上。 每个 SSD 托盘安装一个 PEB，并替换 Knox 中使用的 SAS 扩展板 (SEB)。 这让我们可以为两个托盘使用一个通用的开关板，还可以让我们轻松设计新的或不同的版本（例如，使用下一代开关），而无需修改其余的基础设施。 每个 PEB 具有多达 32 条 PCIe 通道作为到头节点中重定时器的上行链路，以及 60 条 PCIe 通道到 SSD。 如果 PEB 发生故障，可以热插拔而不影响系统中的其他托盘。
- PCIe 驱动平面板 (PDPB)。 PDPB 包含 15 个 SFF-8639 (U.2) SSD 连接器和支持电路。 每个 SSD 连接器或插槽都连接到 4 个 PCIe 通道、PCIe 时钟、PCIe 重置以及来自 PEB 上的一个或多个 PCIe 开关的附加边带信号。 每个 SSD 插槽也可以分为 2 个 x2 端口，这使我们能够将每个托盘的 SSD 数量从 15 个增加到 30 个（从每个系统 30 个增加到每个系统 60 个），而无需额外的 PCIe 交换层。
优点包括：
- Lightning 可以支持多种 SSD 外形规格，包括 2.5"、M.2 和 3.5" SSD。
- Lightning 将支持 SSD 的意外热添加和意外热移除，使现场更换像 SAS JBOD 一样简单透明。
- Lightning 将使用运行 OpenBMC 的 ASPEED AST2400 BMC 芯片。
- Lightning 将支持多种交换机配置，这使我们能够支持不同的 SSD 配置（例如，15x x4 SSD 与 30x x2 SSD）或不同的头节点到 SSD 的映射，而无需以任何方式更改硬件。
- Lightning 将能够支持多达四个头节点。 通过支持每个托盘多个头节点，我们只需更改交换机配置即可根据需要调整计算与存储比率。
虽然全 NVMe 听起来是个好主意，但在将它们实施到各地的数据中心之前，需要解决一些问题。 NMVe 不能像 SAS 驱动器那样进行热插拔或热添加。 目前PCIe热插拔比较复杂。 PCIe 没有像 SAS 那样的带内外壳和机箱管理方案，这使得管理变得棘手。 部分布局和新电路板处理保持信号完整性。 与使用外部 PCIe 电缆相反，Facebook 选择了 mini-SAS HD 电缆 (SFF-8644)。 这些电缆使用完整的 PCIe 边带信号和用于带外管理连接的 USB 连接。 而Facebook正在处理NVMe的功耗，一个2.5英寸的NVMe SSD可以使用高达25W的功率。 Lightning 将功率限制为每个插槽 14W。
Lightning 旨在成为一种灵活、可扩展的闪存解决方案。 它支持多种 SSD 外形规格和多个头节点，同时使用对其目标 IOPS/TB 有意义的功率级别。 将此解决方案添加到 OCP 应该会加强 NVMe 生态系统并加速 NVMe SSD 的采用。
