今日の Open Compute Project Summit で、Facebook は柔軟な NVMe JBOF (単なるフラッシュの束)、Lightning を発表します。 Facebook は、フラッシュ ビルディング ブロック、またはフラッシュ スレッドとして Lightning を導入しています。 Lightning を使用すると、データセンターはコンピューティングとストレージの比率を調整しながら、複数のアプリケーションにわたってフラッシュ容量をより適切にスケールアウトできるようになります。 Facebook は、この新しい JBOF を Open Compute プロジェクトに貢献しています。
Facebook はここしばらく Flash の使用に熱心に取り組んできました。キャッシュ、データベース アプリケーション、ブート ドライブにそれを使用します。フラッシュは求めているパフォーマンスを提供しますが、効果的にスケーリングできないなど、いくつかの欠点があります。フラッシュ密度はおよそ 1 年半ごとに 2 倍になり、効率的なスケーリングが問題になります。 Facebook は、ハードウェア構成要素の数を最小限に抑えながら、特定のアプリケーションで利用できるフラッシュの総量を最大化する方法を模索してきました。 Facebook は、ハードウェア コンポーネントとソフトウェア コンポーネントを分離して、業務効率を向上させる可能性のある解決策と考えました。彼らの JBOF、ライトニングを入力してください。
Lightning は、エンドツーエンド (CPU から SSD) への PCIe Gen 3 接続を提供します。市場投入までの時間を短縮し、共通の外観を維持し、PCIe スイッチ ソリューションのモジュール性を実現し、SSD フォーム ファクタの柔軟性を実現するために、Facebook は既存の Open Vault (Knox) SAS JBOD インフラストラクチャを活用しています。 Facebook は、新しい JBOF (上の写真) と新しいボードを実装するために、特定のトポロジを使用する必要がありました。
- PCIeリタイマーカード。この x16 PCIe gen 3 カードは、JBOF のヘッド ノードとして使用される Leopard サーバーに取り付けられています。これは、少なくとも 8644 メートルの外部 mini-SAS HD (SFF-2) ケーブルを介して PCIe 信号を再送信する、シンプル、低コスト、低電力設計です。
- PCIe 拡張ボード (PEB)。 PCIe スイッチ、Lightning BMC、およびすべてのスイッチ サポート回路はこのボード上にあります。 SSD のトレイごとに 32 つの PEB が取り付けられ、Knox で使用される SAS Expander Board (SEB) を置き換えます。これにより、両方のトレイに共通のスイッチ ボードを使用できるようになり、インフラストラクチャの残りの部分を変更することなく、新しいバージョンまたは異なるバージョン (たとえば、次世代スイッチ) を簡単に設計できるようになります。各 PEB は、ヘッド ノードのリタイマーへのアップリンクとして最大 60x レーンの PCIe、SSD への XNUMXx レーンの PCIe を備えています。 PEB は、障害が発生した場合でも、システム内の他のトレイに影響を与えることなくホットスワップできます。
- PCIe ドライブ プレーン ボード (PDPB)。 PDPB には、15x SFF-8639 (U.2) SSD コネクタとサポート回路が含まれています。各 SSD コネクタまたはスロットは、PCIe、PCIe クロック、PCIe リセット、および PEB 上の PCIe スイッチからの追加のサイドバンド信号の 4x レーンに接続されます。各 SSD スロットは 2 つの x2 ポートに分岐することもできるため、PCIe スイッチング層を追加することなく、トレイあたりの SSD の数を 15 倍から 30 倍 (システムあたり 30 倍から 60 倍) に倍増できます。
主なメリット：
- Lightning は、2.5 インチ、M.2、3.5 インチ SSD など、さまざまな SSD フォーム ファクタをサポートできます。
- Lightning は、SSD のサプライズ ホット アドおよびサプライズ ホット リムーブをサポートし、SAS JBOD と同じくらい簡単かつ透過的に現場で交換できるようにします。
- Lightning は、OpenBMC を実行する ASPEED AST2400 BMC チップを使用します。
- Lightning は複数のスイッチ構成をサポートするため、HW をまったく変更することなく、さまざまな SSD 構成 (たとえば、15 台の x4 SSD と 30 台の x2 SSD など) や SSD へのさまざまなヘッド ノードのマッピングをサポートできます。
- Lightning は最大 4 つのヘッド ノードをサポートできます。トレイごとに複数のヘッド ノードをサポートすることで、スイッチ構成を変更するだけで、必要に応じてコンピューティングとストレージの比率を調整できます。
すべての NVMe は素晴らしいアイデアのように聞こえますが、あらゆる場所のデータセンターに実装する前に対処する必要があるいくつかの懸念があります。 NMVe は、SAS ドライブと同じ方法でホットプラグまたはホットアドを行うことはできません。現在、PCIe ホットプラグは複雑です。 PCIe には SAS のような帯域内エンクロージャとシャーシ管理スキームがないため、管理が難しくなります。レイアウトの一部と新しいボードは、信号の完全性の維持に対応しています。外部 PCIe ケーブルを使用するのではなく、Facebook は mini-SAS HD ケーブル (SFF-8644) を選択しました。このケーブルは、完全な PCIe サイドバンド信号と帯域外管理接続用の USB 接続を使用します。また、Facebook は NVMe の電力消費に取り組んでおり、2.5 インチ NVMe SSD は 25 W も使用できます。 Lightning により、スロットあたりの電力が 14 W に制限されます。
Lightning は、フラッシュ用の柔軟でスケーラブルなソリューションとなるように設計されています。目標とする IOPS/TB に適した電力レベルを使用しながら、複数の SSD フォーム ファクターと複数のヘッド ノードをサポートします。このソリューションを OCP に追加すると、NVMe エコシステムが強化され、NVMe SSD の導入が加速するはずです。
Amazon