Mellanox SX6036 は、ラックに追加された XNUMX 番目の Mellanox マネージド スイッチです。 StorReview エンタープライズ ラボ。 SX6036 は、トップオブラック リーフ接続、クラスタの構築、統合された LAN および SAN トラフィックの伝送を目的として設計されています。統合された InfiniBand サブネット マネージャーは、最大 648 ノードの InfiniBand ファブリックをサポートできます。ラボでは 1GbE、10GbE、および 40GbE が魅力的な相互接続であることがわかっていますが、ネットワーク ファブリックではなくストレージがスループットと遅延のボトルネックであることを確認するには、もう少し電力が必要な場合があります。この目的を達成するために、当社はハイエンド ストレージ アレイで InfiniBand スイッチと関連機器を活用しており、速度が必要なだけでなく、速度がビジネスを行うための要件である状況にも対応しています。
Mellanox SX6036 は、ラックに追加された XNUMX 番目の Mellanox マネージド スイッチです。 StorReview エンタープライズ ラボ。 SX6036 は、トップオブラック リーフ接続、クラスタの構築、統合された LAN および SAN トラフィックの伝送を目的として設計されています。統合された InfiniBand サブネット マネージャーは、最大 648 ノードの InfiniBand ファブリックをサポートできます。ラボでは 1GbE、10GbE、および 40GbE が魅力的な相互接続であることがわかっていますが、ネットワーク ファブリックではなくストレージがスループットと遅延のボトルネックであることを確認するには、もう少し電力が必要な場合があります。この目的を達成するために、当社はハイエンド ストレージ アレイで InfiniBand スイッチと関連機器を活用しており、スピードが必要なだけでなく、スピードがビジネスの要件である状況にも対応しています。
StorageReview の Cluster-in-a-Box には、6036 台の Romley サーバー、Mellanox SXXNUMX スイッチ、および EchoStreams FlacheSAN2
Mellanox の SX6036 スイッチ システムは、当社のラボのエンドツーエンド Mellanox 相互接続ソリューションの一部であり、これには Mellanox SX1036 10/40 イーサネット スイッチも含まれています。 SX1036 は、デザインとレイアウトの多くを SX6036 と共有しています。 SX1036 と同様、SX6036 は 1U、36 ポートのスイッチです。 SX6036 は、ポートごとに最大 56Gb/s の完全な双方向帯域幅、または累積で 4.032Tb/s のノンブロッキング帯域幅を 170ns のポート間遅延で提供します。
Mellanox の FDR InfiniBand テクノロジーは 64b/66b エンコーディングを使用し、承認された Mellanox ケーブルで使用すると、レーンあたりの信号速度が 14Gb/s に増加します。指定された ConnectX-3 アダプターと併用すると、SX6036 は非標準の InfiniBand データ レートである FDR10 もサポートします。 FDR10 では、4X ポートの各レーンは 10.3125b/64b エンコーディングで 66Gb/s のビット レートで動作し、その結果、有効帯域幅は 40Gb/s、つまり QDR より 20% 増加します。
SX6036の主な特長
- 36U スイッチに 56 個の FDR (1Gb/s) ポート
- 4Tb/秒の総スイッチング容量
- IBTA 1.21および1.3に準拠
- FDR/FDR10 による前方誤り訂正 (FEC) のサポート
- 9 仮想レーン: 8 データ + 1 管理
- 256～4KバイトMTU
- 4 x 48K エントリ リニア フォワーディング データベース
今後の機能
Mellanox は、将来のアップデートで有効になる一連の機能も発表しました。これらのアップデートは以下に重点を置きます。
- InfiniBand から InfiniBand へのルーティング
- 最大 8 つの複数のスイッチ パーティションをサポート
- 適応型ルーティング
- 輻輳制御
- ポートミラーリング
ConnectX-3 VPI アダプター
SX6036 を Mellanox の ConnectX-3 VPI アダプター カードと組み合わせました。これらの ConnectX-3 カードは、InfiniBand、イーサネット、およびデータ センター ブリッジング (DCB) ファブリック接続をサポートし、自動検知機能を備えた柔軟な相互接続ソリューションを提供します。 ConnectX-3 の FlexBoot を使用すると、サーバーは InfiniBand または LAN 経由でリモート ストレージ ターゲットから起動できます。
ConnectX-3 仮想プロトコル インターコネクト アダプタは、OpenFabrics ベースの RDMA プロトコルをサポートし、IBTA RoCE を使用してレイヤ 2 イーサネット経由で RDMA サービスを提供します。
エンドツーエンドの Mellanox ネットワーク構成を完了するために、InfiniBand のニーズに合わせてラボで Mellanox QSFP ケーブル ソリューションを使用しています。 56Gb/s InfiniBand アダプタを SX6036 スイッチに接続するには、機器がどの程度緊密にグループ化されているかに応じて、0.5M、1M、および 3M のパッシブ QSFP ケーブルを使用します。
上に示されているのは、40GbE または 56Gb/s InfiniBand 機器の接続に使用する QSFP (Quad Small Form-factor Pluggable) コネクタです。
ConnectX-3 VPI アダプターの主な機能
- InfiniBand IBTA 仕様 1.2.1 準拠
- 16 万の I/O チャネル
- 256 ～ 4Kbyte MTU、1Gbyte メッセージ
- 1μsのMPI ping遅延
- ポートあたり最大 56Gb/秒の InfiniBand または 40 ギガビット イーサネット
- 正確なクロック同期
- ハードウェアベースのQoSと輻輳制御
- ファイバーチャネルカプセル化 (FCoIB または FCoE)
- イーサネットカプセル化 (EoIB)
- RoHS-R6
- ハードウェアベースのI/O仮想化
- シングルルート IOV
- 仮想マシンごとに複数のキュー
- vNIC の拡張 QoS
- VMware NetQueue のサポート
CPU のオフロードと高速化
Connect-X は、RDMA や送受信セマンティクスなどのプロトコル処理とデータ移動オーバーヘッドの CPU オフロードを備えています。 CORE-Direct は、データのブロードキャストや収集、グローバル同期通信ルーチンなどのアプリケーションのオーバーヘッドを軽減します。 GPU 通信アクセラレーションにより、不要な内部データの重複が排除され、実行時間が短縮されます。 TCP/UDP/IP トランスポートを利用するアプリケーションは、IP トランスポートの CPU オーバーヘッドを削減するハードウェア ベースのステートレス オフロード エンジンの恩恵を受けます。
Connect-X VPI アダプター:
- MCX353A-QCBT シングル QDR 40Gb/s または 10GbE
- MCX354A-QCBT デュアル QDR 40Gb/s または 10GbE
- MCX353A-FCBT シングル FDR 56Gb/s または 40GbE
- MCX354A-FCBT デュアル FDR 56Gb/s または 40GbE
設計と構築
このスイッチは、奥行き 19cm ～ 40cm の標準的な 80 インチ ラックに設置できます。スイッチの電源側には、ホットスワップ電源モジュール、冗長 PSU が装備されていない場合のブランク カバー、およびホットスワップ ファン トレイが含まれています。
スイッチのコネクタ側には、36 個の QSFP ポート、システム LED、および管理接続ポートが備えられています。
管理関連のインターフェイスは 5 つあります。
- 「MGT」というラベルが付いた 2 X 100M/1Gb イーサネット コネクタ
- ソフトウェアまたはファームウェアをアップデートするための USB ポート 1 つ。
- ホスト PC に接続するための「CONSOLE」というラベルの付いたコネクタ 1 つ。
- 診断および修理用に電源側に I1C バナナ コネクタ x 2
MSX6036 は、標準深さ (MSX6036F-1SFR および MSX6036T-1SFR) または順方向および逆方向のエアフロー オプションを備えた短深さ設計 (MSX6036F-1BRR および MSX6036T-1BRR) で利用できます。 Mellanox は、SX6036 用に長いレール キットと短いレール キットを提供しています。標準スイッチとショート スイッチの両方はロング レール キットを使用して取り付けることができますが、ショート キットはショート スイッチでのみ機能します。
出力
このスイッチは、100 ～ 240 VAC PSU の自動検知サポートを備えています。 Mellanox のすべての SwitchX QSFP ソリューションと同様、SX6036 はアクティブ ケーブル用に設計されており、モジュールあたりの最大電力は 2W です。一般的な FDR の消費電力は、アクティブ ケーブルの場合は 231 W、パッシブ ケーブルの場合は 126 W です。
SX6036 スイッチは、工場出荷時に取り付けられた 1 台の PSU で使用できます。ホットスワップ交換をサポートするには、冗長 PSU を追加する必要があります。プライマリ電源ユニット (PS2) は電源サイド パネルの右側にあり、PSXNUMX は左側にあります。 XNUMX つの電源装置が取り付けられている場合、スイッチの動作中にどちらかの PSU を取り外すことができます。 PSU を取り出すには、電源コードを取り外し、PSU ハンドルを外側に引っ張りながらラッチ リリースを押します。 PSU を取り付けるには、わずかな抵抗を感じるまでユニットを開口部にスライドさせ、PSU が完全に固定されるまで押し続けます。 PSU が正しく取り付けられると、ラッチがカチッと所定の位置にはまり、電源コードを接続できるようになります。
冷却
SX6036 は、ホットスワップ機能を備えた XNUMX つの冗長ファン ユニットを提供し、XNUMX つの可能なエアフロー方向の構成を備えています。ファン モジュールを取り出すには、モジュールを引き上げてスイッチから引き出すときに、両方のラッチを互いに向かって押す必要があります。スイッチの電源が入っているときにファンを取り外す場合、ファンが取り外されると、問題のモジュールのファン ステータス インジケータがオフになります。
ファン モジュールを取り付けるには、わずかな抵抗を感じ始めるまで開口部にファン モジュールをスライドさせ、完全に固定されるまで押し続けます。スイッチの電源がオンになると、対応するファン ステータス インジケータが緑色に表示されます。
マネジメント
SX1036 と同様に、SX6036 を初めて設定するときは、リモートおよび Web 管理機能を有効にするために、ホスト PC 上のターミナル エミュレーション ソフトウェアを備えた付属のハーネスを使用して、スイッチのコンソール RJ-9 ポートへの DB45 接続を確立する必要があります。 。 Mellanox は、SX6036 を管理するための 6036 つのソリューションを提供します。 MLNX-OS は、ファームウェア、電源、ファン、ポート、その他のインターフェイスを管理するシャーシ管理と、統合されたサブネット管理を提供します。 SXXNUMX を Unified Fabric Manager (UFM) と組み合わせて、スケールアウト InfiniBand コンピューティング環境を管理することもできます。
MLNX-OS には、CLI、WebUI、SNMP、シャーシ管理ソフトウェア、IB 管理ソフトウェア (OpenSM) が含まれています。 SX6036 InfiniBand Subnet Manager は、最大 648 ノードをサポートします。 (Mellanox は、648 を超えるノードを含むファブリックにはユニファイド ファブリック マネージャーを推奨します。) InfiniBand サブネット マネージャーは、QoS、ルーティング、パーティショニングなどのネットワーク トラフィック関連の構成を検出し、ファブリック デバイスに適用します。各サブネットには、スイッチ自体 (スイッチ ベース) またはファブリックに接続されているノードの XNUMX つ (ホスト ベース) で実行される XNUMX つのサブネット マネージャーが必要です。
まとめ：
Mellanox SX6036 56Gb InfiniBand スイッチは、 StorageReview エンタープライズ ラボ、Mellanox インターフェイス カードおよびケーブルと組み合わせて、完全な高速 InfiniBand ファブリックを提供します。新しい フラッシュストレージアレイ 56Gb IB インターコネクトを統合した Mellanox ネットワーキング ギアは、最速のストレージ アレイを適切にレビューして強調するために必要なバックボーンを提供します。相互接続のペースが速くなるにつれ、ストレージが新たなパフォーマンスのボトルネックになります。 InfiniBand ファブリックに負荷をかけることを望んでいるアレイとサーバーの拡張セットとのバランスをとろうとする私たちにご注目ください。
Mellanox SX6036 InfiniBand スイッチ製品ページ
