エンタープライズ テスト ラボ ネットワーキングの概要

ストレージエリアネットワーク（SAN）は、バス型ネットワークアーキテクチャを活用して、エンタープライズストレージへのアクセスを高速化し、分散化します。そのため、ストレージアクセスの高速化には、SANのパフォーマンス向上だけでなく、ストレージメディア自体の高速化も含まれます。したがって、StorageReviewエンタープライズテストラボには、イーサネット、InfiniBand、ファイバーチャネルという3つの主要なネットワークプロトコルファミリーにわたる多様な相互接続オプションを用意することが不可欠です。これらの相互接続オプションにより、SAN管理者が現場で実際に経験する状況に匹敵する条件で、包括的なベンチマークテストを実施することが可能になります。

オールフラッシュ ストレージ アレイとハイブリッド アレイは、より高速な相互接続の開発を推進しているストレージ テクノロジですが、大規模なハード ディスク プールの管理者は、SAN のパフォーマンスと信頼性に細心の注意を払うことでもメリットがあります。現在、コンバージド インフラストラクチャ相互接続プラットフォームへのアクセスは、1 つのプロトコルまたは物理リンク層にロックされることを回避するのに役立ちますが、ストレージ ネットワークのアーキテクチャ中に行われる相互接続の選択は、今後何年にもわたって SAN の機能とパフォーマンスに影響を与える可能性があります。

ケーブル配線やコネクタの選択など、SAN 実装のオプションが多岐にわたるため、どの相互接続の組み合わせや構成が特定のデバイスやアプリケーションに最適であるかを一目で判断することが困難になる場合があります。 Enterprise Test Lab のネットワーク機器の概要は、SAN アーキテクトと技術者向けのオプションの概要として、最も一般的な 3 つの相互接続プロトコル (イーサネット、InfiniBand、およびファイバー チャネル) のそれぞれについて説明することから始まります。次に、StorageReview エンタープライズ ベンチマークで使用できる主要な物理リンク層オプションを詳しく説明します。

イーサネット

StorageReviewのラボには、NetgearとMellanoxのイーサネットスイッチングハードウェアが備えられており、1GbEから40GbEまでの接続オプションを展開できます。1GbEベンチマークには、Netgear ProSafeプロシューマースイッチを使用しています。10GbE接続には、8P8Cコネクタを備えたNetgear ProSafe Plus XS708Eと、1つのQSFPポートから4つのSFP+イーサネットポートを分岐させるファンアウトケーブルを備えたMellanox SX1036 10/40Gbを使用しています。

イーサネットという用語は、8P8C コネクタ (一般に RJ45 コネクタと呼ばれる) を備えたツイスト ペア銅線ケーブルと同義語としてよく使用されますが、イーサネットは、銅線と光ファイバーの両方の物理リンクで使用できるネットワーク通信標準を指します。比較的短期間の配線では、多くの場合、銅線ケーブルがイーサネット アプリケーションに魅力的な価格対性能の標準を提供しますが、必要なデータ伝送速度が向上し、伝送距離が伸びるにつれて、光ファイバー ケーブルが銅線よりも競争上の優位性を発揮し始めます。

イーサネットを 3 つの層で備えた新しい機器が見られます。

• 1GbE – 2013 年現在、ほとんどの家庭用およびプロシューマ機器は、エンタープライズ ワークステーション、SMB NAS/SAN、およびオンボード サーバー LAN インターフェイス用の機器とともに、オンボード 1000BASE-T ギガビット イーサネットを搭載して設計されています。サーバーやストレージ ハードウェアでは 10GBASE-T ツイスト ペア イーサネットの出荷標準がますます増えてきていますが、現時点ではギガビット速度が有線ネットワーク接続の事実上の最低標準となっています。
• 10GbE – 2000 年代の最初の 10 年間、8 ギガビット速度には SPF スタイルのコネクタを介した光ファイバーまたは短期間の Twinax が必要でした。 Cat8 および Cat10 で 6 ギガビットの速度を実現する 7GBASE-T ネットワーク ハードウェアの可用性が高まっているため、銅線と 10P10C コネクタが SAN アーキテクチャに浸透しつつあります。ツイストペア銅線上の XNUMXGbE により、XNUMXGBASE-T は高速ストレージ相互接続のための手頃な価格の新しい選択肢になりましたが、依然として光ファイバーが市場を支配しています。私たちの ネットギア M7100 スイッチ 10 個の 4GBase-T ポートと XNUMX 個の SFP+ ポートを備えていますが、 ネットギア プロセーフ プラス XS708E 10 つの 10GbE ポートと XNUMX つの共有 XNUMXG ファイバー SFP+ ポートを備えています。
• 40GbE – 40 つの SFP+ レーンを XNUMX つのコネクタに統合する QSFP+ を介して、最新の最速ストレージ アレイに必要な XNUMXGbE 接続を実現できます。コンバージド インフラストラクチャ ハードウェア 研究室で使用している Mellanox SX6036、構成に応じて 40GbE または 56Gb/s InfiniBand のオプションを提供します。あ Mellanox SX1036 10/40Gb イーサネット スイッチ 研究室のネットワークのバックボーンとして機能します。

InfiniBand は 2000 年代初頭に広く利用可能になり、スイッチ メーカーの Mellanox と QLogic が標準の推進を推進しました。 InfiniBand は、レーンあたり 2.5Gb/s のシングル データ レート (SDR)、5Gb/s のダブル データ レート (DDR)、10Gb/s のクアッド データ レート (QDR)、14 データ レート (FDR) の 26 層のリンク パフォーマンスを提供します。単一方向レーンあたり XNUMXGb/s、拡張データ レート (EDR) は XNUMXGb/s です。

InfiniBandは、相互接続に必要なパフォーマンスと距離に応じて、銅線ケーブルまたは光ファイバーケーブルで使用できます。現在、SFF-8470コネクタ（InfiniBandコネクタと呼ばれることが多い）は、SFPスタイルのコネクタとともにケーブルの終端によく使用されています。StorageReviewエンタープライズテストラボには、56Gb/sのMellanox InfiniBandファブリックがあり、MarkLogic NoSQLデータベースベンチマークを含むフラッシュストレージアプライアンスのベンチマークに使用されています。

MarkLogic NoSQLベンチマークは、PCIeアプリケーションアクセラレータ、SSDグループ、大容量HDDアレイなど、さまざまなデバイスのストレージパフォーマンスを比較します。これらのベンチマークの相互接続には、56Gb/sのネットワークスループットとiSER（iSCSI-RDMA）およびSRP（SCSI RDMA）プロトコルのサポートを備えた、 Mellanox SX6036を搭載したMellanox InfiniBandファブリックを使用しています。iSERとSRPは、iSCSI TCPスタックをリモートダイレクトメモリアクセス（RDMA）に置き換えることで、ネットワークトラフィックがシステムのCPUをバイパスし、送信システムのメモリから受信システムのメモリにデータを直接コピーできるため、クラスタ環境での効率が向上します。これらの機能は、iSCSI over RDMA（iSER）プロトコルによってイーサネットにも引き継がれています。

このInfiniBandファブリックをEchoStreams GridStreams Quad-Node Serverおよび標準化されたMarkLogic NoSQLベンチマークと組み合わせることで、 Micron P320h 2.5インチPCIeアプリケーションアクセラレータなどの高性能な最新ストレージデバイスの性能を検証し、メーカーの仕様と実際の使用環境におけるパフォーマンスを比較することが可能になります。今年後半には、StorageReviewのInfiniBand SANを活用する新しいVMwareベンチマークを追加する予定です。

ファイバーチャネルプロトコル

1990 年代の終わりまでに、ファイバー チャネルは高速コンピューティングおよびストレージ エリア ネットワーク (SAN) の主要な相互接続プロトコルでした。混乱を招く可能性があるため、ファイバ チャネルはファイバ チャネル プロトコルの略称として使用されます。ファイバ チャネル プロトコルは、銅ケーブルや光ファイバ ケーブルによく導入されるシリアルのチャネルベースの通信プロトコルです。ファイバー チャネルの物理リンク層を使用すると、単一の通信ルートを、銅線セグメントと光ファイバー セグメントの混合など、複数のタイプのリンク テクノロジを介してルーティングして、宛先に到達することができます。

StorageReview ラボでは、QLogic SB5800V 8Gb ファイバーチャネルスイッチとBrocade 6510 16Gb FCスイッチを介して、8Gb/s と 16Gb/s の両方の FC 接続を組み込んでいます。コンバージド インフラストラクチャ アプリケーションでは、16Gb QLogic デュアルポート HBA を使用し、その他の状況ではシングルポート 16Gb Emulex ファイバーチャネル HBA も使用します。ファイバーチャネル機器と他の SAN インフラストラクチャの主な違いの 1 つは、価格とライセンスです。イーサネット スイッチは通常、購入時にすべてアクティブになるポート数 (一般的に 12、24、または 48) が固定されていますが、FC メーカーはポートごとのライセンス モデルを使用するのが一般的です。ファイバーチャネル スイッチには 48 個の物理ポートが搭載されていても、最初の購入時にはそのうち 12 個または 24 個のライセンスのみがバンドルされています。追加のポートや場合によってはその他の機能は、追加のライセンスを購入することで必要に応じて有効になります。

ファイバーチャネルは、 QLogicのMt. Rainierテクノロジーでサポートされる最初のSANプロトコルです。Mt . Rainierは、QLogic SAN HBAとサーバーベースのフラッシュストレージおよびソフトウェアを組み合わせ、サーバーにインストールされたPCIeカードを介してOSに依存しないキャッシュを提供します。Mt. Rainierは、ロジックとキャッシュ管理、そしてストレージ自体を担うQLogic PCIe HBAベースのアダプタカードを中心に構成されており、このアダプタカードがフラッシュ層に接続されます。結果として、ファイバーチャネルSAN接続に必要となるインターフェースカードを介して、コンピューティングサーバー用のローカルキャッシュが実現します。サーバーまたはクラスタ上で実行されるアプリケーションにとって、このキャッシュはSANストレージのように見えますが、アクセス速度はより高速です。

SAN インフラストラクチャを活用してローカルおよびクラスター全体のキャッシュを提供するこのアプローチは、現世代のファイバー チャネル テクノロジーに大きな革新の余地があることを示しています。クラスターに複数の QLogic の FabricCache アダプターをインストールすると、全体でキャッシュを共有できるようになります。ファイバー チャネル ファブリックとの統合により、オンカード キャッシュをローカル スケールとクラスター スケールの両方で利用できるようになります。

物理コンポーネント

ツイストペア銅線ケーブル (Cat ケーブル)

ツイスト ペア銅線ケーブルは、高速ストレージ ネットワーク以外で最も広く使用されている相互接続ですが、ギガビットおよび 10 ギガビット銅線相互接続の登場により、高速 SAN アプリケーションでは、ツイスト ペアが光ファイバ ケーブルに対して優位性を得ることができました。ツイスト ペア ケーブルの「cat」（カテゴリ）ファミリーには、低コスト、製造の容易さ、および数世代のネットワーク テクノロジを通じて比較的変化していないコネクタ タイプという利点があります。

ツイストペア銅線ケーブルは、最大データ伝送速度と最大定格リンク距離を反映する世代番号によって評価されます。 1990 年代に始まり、一連の「cat」世代により、100Mb/s (cat5)、1Gb/s (cat5e)、10Gb/s (cat6) の接続が実現し、最大リンク距離 (cat7) が増加しました。

ツインアックス

もともと初期のマイクロコンピュータ システムで使用されていたツインアキシャル ケーブル (Twinax) は、10 世紀に入っても 21GbE 相互接続の物理層として継続的に使用されています。 Twinax は構造が単純であるため、短距離の場合は光ファイバー ケーブルよりコスト面での利点がありますが、それでも、cat10 または cat6 ツイストペア経由の 7GbE よりも高価です。ツイスト ペア ケーブルが SAN 相互接続アプリケーションで普及し続けると、Twinax は再び従来のニッチなアプリケーションに追いやられる可能性があります。

光ファイバーケーブル

光ファイバー ケーブルは、データ伝送において銅線に比べて多くの技術的利点を提供しますが、コストがはるかに高いことと、技術者がデータ センター内に独自のケーブルを作成する実用的な手段がないため、多くの企業やデータ センターが相互接続用の銅線を再検討するようになりました。光ファイバーの利点の中には、最大伝送長が長いこと、近くの機器や不適切な設置からの電磁「ノイズ」の影響を受けにくいことが挙げられます。

光ファイバーには、シングルモードとマルチモードの 2 種類があります。シングル モードは 1 つの内部ストランドを備えており、最大データ レートとネットワーク セグメント間の距離をより長くすることができます。ただし、より高価なレーザーを使用する必要があるため、ネットワーク デバイスのコストが上昇する可能性があります。マルチモードは、安価なケーブル材料を使用できるため、レーザーではなく、よりシンプルで安価な LED ライトで駆動できます。

現時点では、エンタープライズ SAN 実装用のユニバーサル ケーブルは依然として光ケーブルです。最新の光ファイバー相互接続は一般に業界標準のサブコネクタを備えており、イーサネット、ファイバー チャネル、または InfiniBand に同じリンクを使用するためにトランシーバーを交換するだけでアップグレードやプロトコルの変更が可能です。光ファイバーの敷設の初期コストは高くなりますが、帯域幅のアップグレードにはトランシーバーとスイッチ ハードウェアのアップグレードのみが必要な場合が多いため、高品質のケーブルは寿命が長くなります。

SFP スタイルのトランシーバー/コネクタ

過去 10 年間、SFP および SFP の後継製品は、フォーム ファクタの柔軟性により、相互接続市場の成長セグメントを主導してきました。 2013 年に確認されたもののほとんどは SFP+ または QSFP を特徴としていますが、他のバリエーションもあります。

• SFP: スモール フォーム ファクタ プラガブル、最大 1Gb/s の速度向けに設計
• SFP+: 拡張されたスモール フォーム ファクター プラガブル。最大 10Gb/s の速度と SFP との下位互換性を実現するように設計されています。
• QSFP: クアッド スモール フォーム ファクター プラガブル、40 Gb/s 以上の接続をサポートするように設計されており、このフォーム ファクターは XNUMX つのインターフェイスを XNUMX つのトランシーバーに結合します。

今後の展望

Brocade、Emulex、HP、Intel、Mellanox、Netgear、QLogic などからの支援により、StorageReview ラボは、発生する可能性のある相互接続のニーズに対応できる体制を整えています。このような異機種混在環境では、柔軟性が重要であり、いつファイバー バックボーンの一部を新しいアレイ用にプロビジョニングする必要があるか、クアッド イーサネット リンク アグリゲーションをサポートする標準的な小型 NAS がいつ登場するかはわかりません。もちろん、すべてのエンタープライズまたは SMB 環境がそこまで柔軟である必要があるわけではありません。そのため、一部のストレージ プロバイダーは、購入者を特定の相互接続要件に縛るのではなく、モジュール性について話しています。たとえば、NetApp は交換可能なファイバー カードと 10GbE カードを備えており、どちらかで標準化されている環境にアレイを簡単に挿入できるようにしています。

相互接続担当者も同様のことを行っており、SFP+ スイッチが利用可能になり、技術者が切り離したり再構築したりすることなく、リンク メディアとプロトコルを簡単に切り替えることができます。 QLogic コンバージド ホスト バス アダプター (HBA) は、トランシーバーとケーブルを交換したり、カードの BIOS の設定を変更したりすることにより、イーサネットとファイバー チャネルの間でポートを変更することをサポートします。 Mellanox は、仮想インターコネクトを利用するネットワーク カードの初期のリーダーであり、別のケーブルを接続し、別のドライバをロードすることで、同じ NIC が InfiniBand またはイーサネット経由で動作できるようにします。

コンバージド インフラストラクチャへの勢いは、仮想化への傾向と並行して進んでいます。最新世代の SAN および仮想化テクノロジの影響は、物理インフラストラクチャを、その上で実行されるサーバーやアプリケーションだけでなく、インフラストラクチャ自体を接続するネットワーク層からも切り離す着実な動きを示しています。競合する相互接続プラットフォームがサイロ化やテクノロジー間の競争に向かうのではなく、市場は相互互換性と異種の統合インフラストラクチャに向かって進んでいます。