昨年3月、MicronはP320hアプリケーションアクセラレータカード用の新しい2.5インチフォームファクタを発表しました。PCIeカードは、ストレージから最大限の応答性を引き出そうとするあらゆる企業にとって事実上の標準となっています。しかし、このフォームファクタには、ホットスワップ機能など、従来の2.5インチや3.5インチフォームファクタでは問題にならない課題があります。サーバーの電源を切ってラックから取り外して内部のストレージを保守することは、実際にはほとんど不可能です。そのため、2.5インチPCIeフォームファクタは、PCIeインターフェースが提供できる速度と、標準ドライブが提供する保守性を実現します。もちろん、新しいインターフェースはサーバーのサポートがなければ意味がありません。Micronの発表の一環として、Dellは多くの第12世代PowerEdgeサーバーで新しいドライブのサーバーサポートを開始しました。当社のDell PowerEdge R720 12G with Express Flash （Dell独自の2.5インチPCIeのブランド名）のようなDell製サーバーは、専用のバックプレーンを介してサーバー前面の標準的なアクセスでアクセスできる、最大4台の2.5インチP320hドライブを提供します。
2.5 インチ PCIe ドライブは基本的に、より大きな兄弟の半分のバージョンであるため、容量もそれに応じて減少します。Micron と Dell は、PowerEdge 175G サーバーの 350 つのスロットすべてに装着できる最大 1.2TB の 12GB および 4GB 容量のドライブを提供しています。フルサイズ カードの 8 レーンと比較して 415,000 レーンであっても、ドライブのパフォーマンスが完全に半分になるわけではありません。どちらの容量も、フル サイズ カードの 785,000 と比較して、1.75 台のランダム読み取り IOPS を提供します。読み取りスループットは 3.2Gb/s と比較して最大 XNUMXGb/s です。
サーバーはシステムの前面で PCIe フラッシュのパフォーマンスを得ることができますが、多少の妥協は必要です。バックプレーンは、通常、たとえば 8U サーバーによく見られる 2.5 x 2 インチ ドライブ ベイの 2 番目のバッチ専用のスペースを占めます。そのため、2.5U の場合、サーバーは最大 320 台の 8 インチ P2.5h フラッシュ ドライブ以上で構成できます。最大 XNUMX つの標準 XNUMX インチ ドライブ ベイ。もう XNUMX つの明らかな潜在的な懸念は、これらのドライブはインターフェイスのせいでハードウェア RAID に構成できないことです。ただし、ソフトウェア RAID に配置することはできます。
デルは、これらの問題にいくつかの方法で対処しています。まず、ドライブベイの数や全体の容量といったトレードオフは、このプラットフォームを導入するユーザーにとって概ね受け入れられるものです。なぜなら、彼らの関心は、保守性という付加的なメリットを得ながら、アプリケーションに一定レベルのストレージパフォーマンスを提供することにあるからです。単一の2.5インチP320hでは処理しきれないほど大きなデータベースがあり、ソフトウェアRAIDが利用できない場合、デルはFluid Cacheソフトウェアをリリースしました。これにより、2.5インチP320hドライブが他のベイにある大容量ハードドライブを高速化できるようになります。また、この特定の導入方法はすべての人に適しているわけではないことにも注意が必要です。これは、サーバー市場には他に存在しないものを提供するために、最高クラスのハードウェアを組み合わせた、まだ発展途上のソリューションです。
今回のレビューでは、Dell R720の構成に、4つのExpress Flashスロットすべてに350GBの2.5インチMicron P320hドライブを搭載したものを使用しています。
Micron P320h 2.5 インチ PCIe 仕様
- キャパシティ
- 175GB (MTFDGAL175SAH-1N3AB)
- 350GB (MTFDGAL350SAH-1N3AB)
- マイクロン SLC NAND (34nm)
- インターフェース: x4 PCIe Gen2
- コネクタ: SATA/SAS/PCIe 組み合わせ
- Micron RAIN (独立した NAND の冗長アレイ) テクノロジー
- Self-Monitoring, Analysis, and Reporting Technology (SMART) コマンド セットのサポート
- パフォーマンス
- シーケンシャル読み取り/書き込みパフォーマンス: 最大 1.75/1.1 GB/秒
- ランダム読み取り/書き込みパフォーマンス: 最大 415,000/145,000 IOPS
- レイテンシ: <50μs
- 出力
- 有効消費電力: 25W (最大)
- アイドル/スタンバイ/スリープ消費電力 (平均): 6.5W
- 動作温度: 0C～70C – 温度スロットリングのサポート
- 衝撃と振動
- 衝撃: 400msで2.0G
- 振動: 3.1 Grms、5 ～ 500 Hz、各軸あたり 30 分
- 訂正不可能なビットエラー率: 1 あたり <10 セクター17 ビット読み取り
- MTTF: 2 万デバイス時間
- 耐久性 – ドライブ寿命: 12.5PB (175GB)、25PB (350GB)
- Dell サーバーのサポート – PowerEdge 12G バックプレーンは最大 XNUMX 台のドライブをサポートします
- 寸法 (HxWxL): 15 x 69.85 x 100.5 mm
- 重量: 172g (175GB)、175g (350GB)
設計と構築
Micron の 2.5 インチ P320h について考えると、基本的に Micron が標準の PCIe P320h を半分にカットし、15mm 2.5 インチ フォーム ファクタに再パッケージ化したようなものです。表面的には、ほとんどの人は決して気づかないでしょう。ポートも標準の SAS インターフェイスと非常によく似ています。ただし、その魔法は、以下の R720 でわかるように、特殊なバックプレーンにあります。
特殊なバックプレーンは、サーバー背面の PCIe エキスパンダー カードにケーブル接続された最大 2.5 台の 320 インチ P720h ドライブをサポートします。RXNUMX 内部のレイアウトはすっきりしていて、簡単に保守できます。実際、デルはバックプレーン、エキスパンダー カード、およびストレージの進化に合わせて、ケーブル配線もすべて NVMe にアップグレードできるため、ストレージを最新かつ最高のストレージに移行したいと考えている早期導入者にとって、プラットフォームの柔軟性は魅力的です。
個々のドライブ自体を調べてみると、ケースは頑丈なアルミニウムで作られており、そのグレー色は永続的な工業的な外観を持っています。上部カバーには、すべての関連情報 (容量、モデルなど) が記載されたデルの製品情報ラベルが付いています。側面プロファイルには、ホットスワップ ドライブ キャディにドライブを取り付けるための 8639 つのネジ穴が示されています。ユニットの背面に移動すると、Express Bay SFF-4 コネクタがあります。これは SAS または SATA コネクタに似ていますが、xXNUMX PCIe 信号も伝送します。
ケースの底部にはドライブの受動的冷却を助けるために隆起があり、ドライブを分解すると、ケースの底部の内側にいくつかの熱パッドが並んでいることがわかります。これらのサーマルパッドは熱を引き込み、ケースを通して放散します。
2.5 インチ Micron P320h の内部には、フルサイズの HHHL Micron P16h で使用されているものと同様のカスタム 320 チャネル Micron/IDT ASIC コントローラが搭載されていますが、メモリ チャネルが半分です。Micron は、普及している NAND パッケージも供給しています。 512 つの PCB にまたがる合計 350GB は、使用可能な XNUMXGB にオーバープロビジョニングされます。
上部の PCB には、コネクタ、コントローラー、DRAM、および 8 個の NAND パッケージが含まれています。下部 PCB は合理化されたレイアウトで、片側の中央に 12 個の NAND パッケージが並び、もう一方の側にも 12 個の NAND パッケージが配置されています。また、PCB の両側に XNUMX つのコネクタがあり、両方のドーターボードを接続します。
テストの背景
Micron SSD を利用する Dell の Express Flash 構成が搭載されているため、720 インチ Micron P12h のテスト プラットフォームとして Dell PowerEdge R2.5 320G を使用しました。テスト システムは次のハードウェアで構成されました。
- 2 x Intel Xeon E5-2640 (2.6GHz、15MB キャッシュ、6 コア)
- Intel C602チップセット
- メモリ – 192GB (24 x 8GB) 1333Mhz DDR3 レジスタード RDIMM
- CentOS 6.3 64 ビット
- ブート用に 8 x 300GB Seagate Savvio 15K.3 (RAID10)
アプリケーションのパフォーマンス分析
エンタープライズ市場では、製品の仕様書上の性能と実際の運用環境での性能には大きな差があります。StorageReviewでは、アプリケーションテストへの取り組み拡大の重要性を理解しており、最初のテストとしてMarkLogic NoSQLデータベースストレージベンチマークを実施しました。合成テストは今後もレビューの重要な要素となりますが、アプリケーションテストの範囲を拡大し、VDIパフォーマンス、VM負荷生成、拡張データベースパフォーマンステストなど、幅広い分野を網羅していく予定です。
当社の MarkLogic NoSQL データベース環境では、200 つの SATA または SAS SSD のグループ、720GB 以上の使用可能な容量を持つ単一のフルサイズ PCIe ソリューションをテストします。 Dell PowerEdge R12 650G には 720 つの Express Flash SSD が搭載されていたため、MarkLogic テストではそれらすべてを活用し、データベース クラスターごとに 24 つを専用にしました。当社の NoSQL データベースを使用するには、30 つのデータベース ノードに均等に分割された約 36 GB の空き領域が必要です。私たちのテスト環境では、SCST ホスト (RXNUMX が存在していた) を使用し、データベース ノードごとに XNUMX つずつ割り当てられた個々の SSD を JBOD で表示します。テストは XNUMX 間隔で繰り返され、このカテゴリの SSD では合計 XNUMX ～ XNUMX 時間かかります。 MarkLogic ソフトウェアで確認される内部レイテンシを測定し、総平均レイテンシと各 SSD の間隔レイテンシの両方を記録します。
Dell PowerEdge R720 12G は、工場出荷時に高性能フラッシュを提供する、MarkLogic NoSQL テストを実行したコンピューティング セグメントの最初のサーバーです。全体のレイテンシーは平均 1.239 ミリ秒と優れており、総合ランキングでトップの座を獲得しました。
測定した各エリアの全体的な平均遅延を確認すると、最大 16 ミリ秒のピークが記録され、ほとんどのピークの測定値は 3 ～ 11 ミリ秒でした。
エンタープライズ総合ワークロード分析
フラッシュのパフォーマンスは、各ストレージ デバイスのプリコンディショニング フェーズ全体を通じて異なります。当社のエンタープライズ ストレージ ベンチマーク プロセスは、徹底的な事前調整フェーズ中にドライブがどのように動作するかを分析することから始まります。同等の各ドライブは、ベンダーのツールを使用して安全に消去され、スレッドごとに 16 の未処理キューを備えた 16 スレッドの高負荷でデバイスがテストされるのと同じワークロードで定常状態に事前調整され、その後、設定された間隔でテストされます。複数のスレッド/キュー深度プロファイルで、軽い使用状況と重い使用状況でのパフォーマンスを示します。
プレコンディショニングおよび一次定常状態テスト:
- スループット (読み取り+書き込み IOPS 合計)
- 平均レイテンシ (読み取りと書き込みのレイテンシを合わせて平均)
- 最大遅延 (ピーク読み取りまたは書き込み遅延)
- レイテンシの標準偏差 (読み取りと書き込みの標準偏差を合わせて平均)
当社のエンタープライズ合成ワークロード分析には、実際のタスクに基づいた 4 つのプロファイルが含まれています。これらのプロファイルは、過去のベンチマークや、最大 8K 読み取りおよび書き込み速度、エンタープライズ ドライブで一般的に使用される 70K 30/XNUMX などの広く公開されている値との比較を容易にするために開発されました。また、従来のファイル サーバーと Web サーバーという XNUMX つの従来の混合ワークロードも含まれており、それぞれが幅広い転送サイズの組み合わせを提供します。
- 4k
- 100% 読み取りまたは 100% 書き込み
- 100％4k
- 8k 70/30
- 70% 読み取り、30% 書き込み
- 100％8k
- 128k (シーケンシャル)
- 100% 読み取りまたは 100% 書き込み
- 100％128k
- ファイルサーバー
- 80% 読み取り、20% 書き込み
- 10% 512b、5% 1k、5% 2k、60% 4k、2% 8k、4% 16k、4% 32k、10% 64k
- ウェブサーバー
- 100% 読み取り
- 22% 512b、15% 1k、8% 2k、23% 4k、15% 8k、2% 16k、6% 32k、7% 64k、1% 128k、1% 512k
最初のテストは 128k テストです。これは、最高のシーケンシャル転送速度を示す大きなブロックのシーケンシャル テストです。 128% 書き込みおよび 100% 読み取りアクティビティの両方で 100k のパフォーマンスを確認すると、Micron P320h x 4 は読み取り 6.88 GB/s および書き込み 4.7GB/s を達成しました。
次のエンタープライズ ワークロードでは、4T/16Q の優れたワークロードを備えた完全にランダムな 16K 書き込みプリコンディショニング プロファイルを検討します。 Micron P320h x 4 のバースト速度は 1.1 万 IOPS で、600,000 IOPS 弱で横ばいになりました。単一の P320h は、スケールでほぼ同じ速度を測定しました。
プリコンディショニングの 4K ランダム書き込み 16T/16Q ワークロードでは、Micron P320h はバーストで 0.9 ～ 1.7 ミリ秒、定常状態で 1.8 ミリ秒の範囲でした。
4K プリコンディショニング ワークロードの最大レイテンシを見ると、Micron P320h のピーク応答時間はバースト時 70 ～ 175 ミリ秒で始まり、定常状態に近づくにつれて 60 ～ 200 ミリ秒に増加しました。
レイテンシの標準偏差を比較すると、Micron P320h x 1 は Micron P320h x 4 よりも低いピークにスケーリングされましたが、最も高いピークでもわずか約 1.3 ミリ秒でした。
Micron P6h x 320 での 4 時間のプレコンディショニング期間が終了した後、その定常状態のランダム読み取り 4k パフォーマンスは、1.65 IOPS の書き込み速度でほぼ 571,173 万 IOPS のピークを測定しました。 Micron P320h x 1 は、規模を拡大してもほぼ同等のパフォーマンスを示します。
16% 16k ランダム読み取りアクティビティを伴う重い 100T/4Q ワークロードの平均レイテンシーを比較すると、Micron P320h x 4 では読み取りアクティビティで 0.62 ミリ秒、書き込みアクティビティで 1.79 ミリ秒が測定されました。これは Micron P320h x 1 とほぼ同じです。
4K 定常状態テストで最大レイテンシーを比較すると、Micron P320h x 4 のピーク読み取りレイテンシーは 115.9 ミリ秒、ピーク書き込みレイテンシーは 27.3 ミリ秒でした。 Micron P320h x 1 は、ピーク読み取りレイテンシが 45.4 ミリ秒、ピーク書き込みレイテンシが 6.2 ミリ秒で、より優れたパフォーマンスを示しました。
レイテンシーの標準偏差を見ると、Micron P320h x 1 は、読み取りおよび書き込みアクティビティの両方で、もう少し長いレイテンシーの一貫性を実現しました。
次のテストでは、8K 70/30 混合ワークロードに切り替えます。このテストでは、Micron P320h x 4 のバースト速度が最大 900,000 IOPS に達し、その後定常状態で約 480,000 IOPS に落ち着きました。ここでも、Micron P320h x 1 は大規模なパフォーマンスに匹敵しました。
8k 70/30 プリコンディショニング 16T/16Q ワークロードの平均レイテンシーを比較すると、Micron P320h x 1 および x 4 のバースト レイテンシーは 2.0 ～ 1.2 ミリ秒であり、定常状態近くでは 2.2 ミリ秒に増加しました。
8k 70/30 ワークロードの場合、Micron P320h x 4 のピーク レイテンシーは、バースト時の 25 ～ 130 ミリ秒から定常状態に近づくときの 40 ～ 80 ミリ秒の範囲でした。
8k 70/30 プリコンディショニング ワークロードのレイテンシの一貫性を比較すると、Micron P320h x 4 の標準偏差は Micron P320h x 1 よりわずかに高かった。
16% 16K 書き込みテストで実行した固定の 100 スレッド、4 キューの最大ワークロードと比較して、混合ワークロード プロファイルは、幅広いスレッド/キューの組み合わせにわたってパフォーマンスを拡張します。これらのテストでは、ワークロード強度を 2 スレッドと 2 キューから最大 16 スレッドと 16 キューまで広げます。拡張された 8K 70/30 テストでは、Micron P320h x 4 は 150,000～450,000 IOPS にスケールアップし、2T/16Q からはより高い IOPS が始まりました。 Micron P320h x 1 も同様のスケールで拡張されました。
8k 70/30 テストのスケーリングされた平均レイテンシー セグメントでは、Micron P320h は 0.15T/2Q で 2ms からスケーリングされ、1.9T/2.2Q では 16 ～ 16ms に増加しました。
8k 70/30 メイン テストの最大遅延は、320T4Q から始まる Micron P8h x 16 でより高く測定され、ピーク応答時間の全体範囲は 12 ～ 78 ミリ秒でした。
Micron P320h x 4 と Micron P320h x 1 の遅延の一貫性は、Micron P0.87h x 320 ではスパイクが最大 4 ミリ秒にしか達しなかったことを除けば、同様でした。
ファイル サーバーのワークロードは、特定のデバイスごとに大きな転送サイズのスペクトルを表しているため、静的な 4k または 8k ワークロードに落ち着くのではなく、ドライブは 512b から 64k の範囲のリクエストに対応する必要があります。このワークロードでは、Micron P320h x 4 は 300 ～ 365,000 IOPS のバースト速度を提供し、定常状態に近づくと約 280,000 IOPS にクロックインしました。
ファイル サーバーのプレコンディショニング テストのワークロードが低い場合、平均遅延は 2.8 ～ 3.3 ミリ秒と測定され、テスト中にわずかに増加して 3.6 ミリ秒になりました。
ファイル サーバー テストのプレコンディショニング段階では、Micron P320h x 4 からのピーク応答時間はバースト モードで 7 ～ 35 ミリ秒の範囲であり、定常状態に近づくにつれて 12 ～ 70 ミリ秒に増加しました。
レイテンシの一貫性を評価すると、バースト モードでは、Micron P320h x 4 と Micron P320h x 1 のレイテンシの標準偏差はほぼ同じでした。
ファイル サーバーのプレコンディショニング プロセスが 16T/16Q の一定の負荷で完了した後、2T/2Q と 16T/16Q の間の設定レベルでパフォーマンスを測定するメイン テストに移りました。当社のメイン ファイル サーバー ワークロードでは、Micron P320h x 4 は 115,000T/2Q で約 2 IOPS から 280,000T/16Q で 16 IOPS の範囲でした。 Micron P320h x 1 にも同様のマークがありました。
Micron P320h x 4 の平均レイテンシは、0.52T/0.53Q で 2 ～ 2 ミリ秒、2.75T/3.60Q で 16 ～ 16 ミリ秒の範囲でした。
最大レイテンシーを比較すると、Micron P320h x 4 にはいくつかのピークがあり、そのパフォーマンスが 320ms のピーク時間を持つ Micron P1h x 990 に匹敵することができませんでした。
ピーク レイテンシからレイテンシの標準偏差に至るまで、Micron P320h x 4 と Micron P320h x 1 はほぼ同じパフォーマンスを示しました。
Web サーバー プロファイルをカバーする最後の合成ワークロードでは、従来は 100% 読み取りテストでしたが、メイン テストの前に 100% 書き込みアクティビティを適用して各ドライブを完全に事前調整しました。このストレスの多いプレコンディショニング テストでは、Micron P320h x 4 のバースト速度は 110,000 ～ 190,000 IOPS でしたが、定常状態のパフォーマンスに近づくと、その数値は約 77,000 ～ 80,000 IOPS になりました。
ストレスの多い Web サーバーのプリコンディショニング テストの平均遅延は、バーストで 5 ～ 10 ミリ秒で始まり、Micron P12.5h が定常状態に近づくにつれて 320 ミリ秒まで増加しました。
Micron P320h x 4 が定常状態に近づくにつれて、ピーク応答時間は 40 ～ 55 ミリ秒の範囲になりました。
Micron P320h の遅延の一貫性は、ドライブが定常状態に近づくにつれて 2.5 ミリ秒付近に留まり、低下しました。
100% 読み取りプロファイルを使用して Web サーバー テストのメイン セグメントに切り替えると、Micron P320h x 4 は 125,000 ～ 365,000 IOPS のパフォーマンス スケーリングを実現しました。 Micron P320h x 1 と比較すると、これらの数値はスケール的に一致しています。
読み取り負荷の高い Web サーバーのメイン テストでは、Micron P320h は、0.2T/2Q で 2ms から 2.2T/2.8Q で 16 ～ 16ms までの平均レイテンシ スケーリングを実現しました。
Micron P320h x 4 は、Micron P16h と比較して、4T320Q から始まるピーク応答時間が長くなりました。ワークロード全体で測定された最大遅延は 2 ～ 23 ミリ秒です。
レイテンシーの一貫性に切り替えると、Micron P320h は 0.1 ～ 0.68 ミリ秒の範囲のレイテンシー標準偏差を提供しました。
結論
2.5 インチ Micron P320h PCIe アプリケーション アクセラレータは、非常に長い理由リストで興味深いものです。ただし、リストの最上位は、PCIe フラッシュ ストレージの潜在的なパフォーマンスを活用し、フロントマウントの保守が容易なフォーム ファクタに絞り込んだことです。Micron は、多くの R720 12G サーバーと互換性のある革新的なサーバー バックプレーン設計を備えたこのフォーム ファクターを最初に市場に投入したのはデルであり、このプラットフォームを使用するとユーザーは XNUMX つのドライブ ベイを諦めざるを得なくなりますが、市場ではこのタイプのストレージがターゲットとなりますなぜなら、それはおそらく許容可能なトレードオフです。これは確かに大衆市場向けの戦略ではありませんし、解釈されるべきではありません。これはサーバーと同じくらいニッチなものです。しかし、小規模なデータベースや大規模なデータベースを使用しているユーザーにとっては、メリットが得られるでしょう。 Fluid Cache の斬新なデザインは、特定のニーズを完全に満たします。
PowerEdge 720 12G の Express Flash 構成は、2.5 台の SSD を搭載した場合、当社がこれまでにテストした中で間違いなく最速のストレージ プラットフォームであり、当社のすべてのストレージ ベンチマークで最高点を獲得しています。生の帯域幅に関しては、320 つの 6.9 インチ Micron P4.7h SSD はシーケンシャル ロードで 4GB/s の読み取りと 1.6GB/s の書き込みを実行できます。571K 転送でピークのランダム I/O スループットに切り替えると、システムに問題は発生しません。定常状態で 8M 読み取り IOPS と 70k IOPS 書き込みを管理します。30k 720/480,000 ワークロードを見ると、RXNUMX は定常状態で XNUMX IOPS で横ばいになっており、フルサイズの PCIe アプリケーション アクセラレータ標準でさえ、XNUMX つ以上の IOPS を必要とします。その分野のクラスリーダーと同等かそれを超えています。
特定のサーバーやストレージ製品が業界最速であると主張できることはあまりありませんが、デルとマイクロンは協力してまさにそれを実現しました。 720 つの 2.5 インチ P320h フラッシュ ドライブと組み合わせた当社の RXNUMX は、市場にある単一の PCIe カードを上回るスコアを記録し、総合的なパフォーマンスを非常に適切に拡張できるドライバー サポートを備えていました。インコンピューティング ストレージでこれらのドライブを最高にするには、少なくとも XNUMX つが必要です。標準の PCIe カードやドライバーセットによっては、十分な拡張性を備えたパフォーマンスを提供できない可能性があります。さらに、このプラットフォームはフロントからサービスを提供できるため、無停止の構成変更が可能です。
メリット
- 2.5 インチ ベイで可能な最高のパフォーマンス
- 専用オールフラッシュ アレイの帯域幅と I/O パフォーマンス
- ホットスワップ機能により保守が容易
デメリット
- 従来の 8 インチ ベイ 2.5 個を Express Flash ベイ 4 個と交換する必要がある
ボトムライン
Dell サーバーと 2.5 インチ Micron P320h の組み合わせは、2.5 インチ フォーム ファクタで可能な限り最速のストレージを提供する真にユニークなストレージ ソリューションを提供します。 PCIe が提供するパフォーマンスと標準のフロントマウント ドライブの保守性を求めるユーザーにとって、このソリューションは大きな可能性を秘めています。
Amazon