在今天的開放計算項目峰會上，Facebook 宣布了其靈活的 NVMe JBOF（只是一堆閃存）Lightning。 Facebook 正在引入 Lightning 作為閃存構建塊或閃存雪橇。 Lightning 將允許數據中心更好地跨多個應用程序擴展閃存容量，同時調整計算與存儲的比率。 Facebook 正在將這個新的 JBOF 貢獻給開放計算項目。
一段時間以來，Facebook 一直大力使用 Flash。 他們將其用於緩存、數據庫應用程序和引導驅動器。 雖然閃存為他們提供了他們正在尋找的性能，但它也有一些缺點，例如不能有效擴展。 閃存密度大約每半年翻一番，這使得高效擴展成為一個問題。 Facebook 一直在尋找方法來最大限度地減少硬件構建塊的數量，同時最大限度地增加給定應用程序可用的閃存總量。 Facebook 將分解硬件和軟件組件視為提高運營效率的可能解決方案。 輸入他們的 JBOF，Lightning。
Lightning 提供端到端（CPU 到 SSD）的 PCIe gen 3 連接。 為了加快上市速度、保持通用外觀、在 PCIe 交換機解決方案中實現模塊化並在 SSD 外形規格中實現靈活性，Facebook 正在利用現有的 Open Vault (Knox) SAS JBOD 基礎架構。 Facebook 必須使用某種拓撲結構來實現新的 JBOF（如上圖所示）和新的看板：
- PCIe 重定時器卡。 這個 x16 PCIe gen 3 卡安裝在 Leopard 服務器中，用作 JBOF 的頭節點。 通過至少 8644 米的外部 mini-SAS HD (SFF-2) 電纜重新傳輸 PCIe 信號是一種簡單、低成本、低功耗的設計。
- PCIe 擴展板 (PEB)。 PCIe 開關、Lightning BMC 和所有開關支持電路都位於該板上。 每個 SSD 托盤安裝一個 PEB，並替換 Knox 中使用的 SAS 擴展板 (SEB)。 這讓我們可以為兩個托盤使用一個通用的開關板，還可以讓我們輕鬆設計新的或不同的版本（例如，使用下一代開關），而無需修改其餘的基礎設施。 每個 PEB 具有多達 32 條 PCIe 通道作為到頭節點中重定時器的上行鏈路，以及 60 條 PCIe 通道到 SSD。 如果 PEB 發生故障，可以熱插拔而不影響系統中的其他托盤。
- PCIe 驅動平面板 (PDPB)。 PDPB 包含 15 個 SFF-8639 (U.2) SSD 連接器和支持電路。 每個 SSD 連接器或插槽都連接到 4 個 PCIe 通道、PCIe 時鐘、PCIe 重置以及來自 PEB 上的一個或多個 PCIe 開關的附加邊帶信號。 每個 SSD 插槽也可以分為 2 個 x2 端口，這使我們能夠將每個托盤的 SSD 數量從 15 個增加到 30 個（從每個系統 30 個增加到每個系統 60 個），而無需額外的 PCIe 交換層。
優勢包括：
- Lightning 可以支持多種 SSD 外形規格，包括 2.5"、M.2 和 3.5" SSD。
- Lightning 將支持 SSD 的意外熱添加和意外熱移除，使現場更換像 SAS JBOD 一樣簡單透明。
- Lightning 將使用運行 OpenBMC 的 ASPEED AST2400 BMC 芯片。
- Lightning 將支持多種交換機配置，這使我們能夠支持不同的 SSD 配置（例如，15x x4 SSD 與 30x x2 SSD）或不同的頭節點到 SSD 的映射，而無需以任何方式更改硬件。
- Lightning 將能夠支持多達四個頭節點。 通過支持每個托盤多個頭節點，我們只需更改交換機配置即可根據需要調整計算與存儲比率。
雖然全 NVMe 聽起來是個好主意，但在將它們實施到各地的數據中心之前，需要解決一些問題。 NMVe 不能像 SAS 驅動器那樣進行熱插拔或熱添加。 目前PCIe熱插拔比較複雜。 PCIe 沒有像 SAS 那樣的帶內外殼和機箱管理方案，這使得管理變得棘手。 部分佈局和新電路板處理保持信號完整性。 與使用外部 PCIe 電纜相反，Facebook 選擇了 mini-SAS HD 電纜 (SFF-8644)。 這些電纜使用完整的 PCIe 邊帶信號和用於帶外管理連接的 USB 連接。 而Facebook正在處理NVMe的功耗，一個2.5英寸的NVMe SSD可以使用高達25W的功率。 Lightning 將功率限制為每個插槽 14W。
Lightning 旨在成為一種靈活、可擴展的閃存解決方案。 它支持多種 SSD 外形規格和多個頭節點，同時使用對其目標 IOPS/TB 有意義的功率級別。 將此解決方案添加到 OCP 應該會加強 NVMe 生態系統並加速 NVMe SSD 的採用。
Amazon