SUSE エンタープライズストレージのレビュー

by StorageReview エンタープライズラボ on 2016 年 9 月 27 日

SUSE Enterprise Storage は、企業が増え続けるデータセットを管理できるように設計された、Ceph を利用したソフトウェアデファインドストレージソリューションです。さらに、SUSE は、ハードドライブが大型化し続け、フラッシュの価格が下がり続ける中、有利なストレージ経済性を利用して支援することを目指しています。通常、Ceph はハイブリッドとして構成されますが、最終的にはお客様の要求に応じて柔軟になります。最近のソフトウェアデファインドの魅力の多くはプライマリストレージとハイパーコンバージド製品に焦点を当てていますが、Ceph は重要なハードウェア開発の促進にも貢献しています。 HP、Dell、Supermicro などは、Ceph が必要とする基盤となるハードウェアプラットフォームを提供するために、複数の計算ノードを備えた高密度 3.5 インチシャーシに多額の投資を行っています。この特定のレビューの場合、ProLiant サーバーや Apollo シャーシなどの HPE ギアを活用しました。ただし、SUSE Enterprise Storage はほぼあらゆるものに導入できます。

Ceph について深く掘り下げることはこのレビューの範囲を超えていますが、Ceph とは何かについて基本的な理解を得ることが重要です。 Ceph は、オブジェクト、ブロック、およびファイルストレージを 1 つの統合システムで提供できるという点で独自のソフトウェアストレージプラットフォームです。 Ceph のもう 1 つの魅力的な特徴は、拡張性が高く、最大でエクサバイト規模のデータに対応できることです。市販のハードウェア上で実行できます (特別なものは何も必要ありません)。 Ceph は、単一障害点を回避するように設計されています。そして、誰にとっても興味深いのは、Ceph が無料で入手できることです。

ユーザーは、いくつかのインテリジェントなデーモン、特にクラスターモニター (ceph-mon)、メタデータサーバー (ceph-mds)、オブジェクトストレージデバイス (ceph-osd)、および表現状態転送 ( RESTful) ゲートウェイ (ceph-rgw)。ユーザーデータの保護を強化し、フォールトトレラントにするために、Ceph はデータを複製し、複数のノードにストライピングしてスループットを高めます。

SUSE Enterprise Storage は、複数の種類のデータを保存するための非常に大規模でコスト効率の高い大容量ストレージとして Ceph を使用しています。データは増加の一途をたどっており、ビッグデータは非常に価値がありますが、大量の容量を占有します。ビッグデータは、企業に収益にとって非常に価値のある洞察を提供しますが、このデータを分析するには、その間にデータを保存する場所が必要です。 SUSE Enterprise Storage は、コスト効率の高い方法で大量のデータを保存できることに加えて、高い適応性も備えています。このソフトウェアは自己管理および自己修復機能を備えているため、需要の変化に迅速に適応するのに最適です。つまり、管理者は中断することなくパフォーマンスを迅速に調整し、追加のストレージをプロビジョニングできます。この適応性により、SUSE Enterprise Storage で使用される汎用ハードウェアに柔軟性が与えられます。

SUSE Enterprise ストレージの機能

キャッシュの階層化
シンプロビジョニング
コピーオンライトクローン
イレイジャーコーディング
異種 OS ブロックアクセス (iSCSI)
統合されたオブジェクト、ブロック、ファイルシステムへのアクセス（テクニカルプレビュー）
プログラムによるアクセスのための API
OpenStackの統合
ノードまたは容量のオンラインスケーラビリティ
オンラインソフトウェアアップデート
保存データの暗号化

SUSE Enterprise Storage のハードウェア構成

モニターノードはクラスターの状態を追跡しますが、データパスには存在しません。この例では、1 つのモニターノードは 360U HPE ProLiant DLXNUMX サーバーです。ほとんどの SUSE Enterprise Storage クラスタでは、XNUMX つのモニタリングノードで十分ですが、ストレージノードの数が非常に多い場合、企業では XNUMX つ以上のモニタリングノードをデプロイする場合があります。

SUSE ストレージノードは水平方向に拡張でき、4200 つの HPE Apollo 4510 ノードと XNUMX つの HPE Apollo XNUMX ノードで構成されます。データは、構成内のストレージノード全体で XNUMX 重に書き込まれていますが、もちろん、これは必要に応じて変更できます。保護レベルはプールレベルで定義できます。

3x HPE Apollo 4200 ノード
- 2x Intel E5-2680 v3 プロセッサ
- RAM 320GB
- M.2ブートキット
- 4x 480GB SSD
- 24x 6TB SATA 7.2k ドライブ
- 1x 40Gb デュアルポートアダプター
3x HPE Apollo 4510 ノード
- 2x e5-2690 v3 プロセッサ
- RAM 320GB
- M.2ブートキット
- 4x 480GB SSD
- 24x 6TB SATA 7.2k ドライブ
- 1x 40Gb デュアルポートアダプター
3x HPE ProLiant DL360 ノード
- 1 E5-2660v3
- RAM 64GB
- 2x 80GB SSD
- 6x 480GB SSD
- 1x 40Gb デュアルポートアダプター
2x HP FlexFabric 5930-32QSFP+ スイッチ
サーバー構成
- SUSE Linux Enterprise Server 12 SP1 と SUSE Enterprise Storage
- ジャーナルデバイス用に HDD と SSD の比率を 6:1 で導入した OSD
- HPE Apollo 4200 および 4510 は、合計 144 台のストレージデバイスの単一ストレージクラスターに一緒に参加します。
- DL360 は、管理者、モニター、および Romana GUI の役割を果たします。
- iSCSI ゲートウェイサービスは 6 つのストレージノードすべてに導入されています

SUSE Enterprise ストレージ管理

SUSE エンタープライズストレージのほとんどは CLI を通じて管理されますが、Web ベースの GUI もあります。現在、SUSE は GUI に Calamari を使用していますが、今後変更される可能性があります。ユーザーが Calamari をセットアップして開くと、GUI に通常期待される内容が表示されます。メインページには、上部にある 4 つのメインタブ (ダッシュボード、ワークベンチ、グラフ、管理) があります。 [ダッシュボード] タブ (デフォルトで開くタブ) には、システムの状態と現在アクティブな警告が表示されます。クラスター内の OSD の合計数が表示され、上下の合計量も示されます。モニターの数 (合計/および実行中のもの) が表示されます。そして、プールの総量が表示されます。これらの下には、アクティブおよびクリーンな番号を含むプレースメントグループのステータスと、クリーン（緑）、作業中（黄色）、ダーティ（赤）のユーザーを示すカラーコードシステムが表示されます。

[ワークベンチ] タブでは、OSD の量と、どの OSD が適切に実行されているか、どの OSD が停止しているかをグラフィック表示します。この図から、ほとんどが正常に実行されており、緑色で示されている一方で、赤色で強調表示され、わずかに大きいダウンしているものが 1 つあることがわかります。左側では、ユーザーは OSD ごとに並べ替えとフィルターを行うことができます。

[ワークベンチ] タブを通じて、ユーザーはストレージのパフォーマンスをグラフィカルに表示することもできます。以下の例では、ユーザーは読み取り + 書き込み IOPS、ストレージの使用率、およびレポートするホストの数を確認できます。

「チャート」タブを使用すると、ユーザーはクラスターを選択し、読み取りと書き込みの両方を示すクラスターのパフォーマンスを示す破線グラフを取得できます。

「管理」タブでは、ユーザーはクラスター、OSD、プールを編集し、ログを表示できます。 [OSD] サブタブでは、左側にリストされているホストと、各ホストにある OSD を確認できます。ユーザーは OSD を移動して負荷のバランスをとることができます。

エンタープライズ総合ワークロード分析

ストレージのパフォーマンスは、アレイがワークロードに合わせて調整されるにつれて変化するため、ベンチマークの精度を確保するには、 fio合成ベンチマークを実行する前にストレージデバイスを事前調整する必要があります。各テストでは、プライマリテストと同じワークロードを適用してグループを事前調整します。テストでは、標準構成でチューニングされていないSUSE Enterpriseを使用しました。今後は、特定のOSおよびCephチューニングを施したSUSEテストを実行する可能性があります。

プレコンディショニングおよび一次定常状態テスト:

スループット (読み取り+書き込み IOPS 合計)
平均レイテンシ (読み取りと書き込みのレイテンシを合わせて平均)
最大遅延 (ピーク読み取りまたは書き込み遅延)
レイテンシの標準偏差 (読み取りと書き込みの標準偏差を合わせて平均)

Dell PowerEdge LoadGen の仕様

Dell PowerEdge R730 サーバー (2 ～ 4)
CPU: デュアル Intel Xeon E5-2690 v3 2.6GHz (12C/28T)
メモリ: 各 128GB DDR4 RDIMM
ネットワーキング: Mellanox ConnectX-3 40GbE

SUSE Enterprise Storage クラスターは大規模なシーケンシャル転送を前提としているため、ランダムワークロードテストを 1 つ含め、転送サイズを段階的に増やしながら、クラスター上で 3 つのシーケンシャル転送テストを実施しました。各ワークロードは 10 スレッド、未処理キュー深度 16 で実行しました。ランダムワークロードは 2 つのクライアントで実行し、結果をまとめて総合スコアを算出しました。一方、シーケンシャル結果は 2 台と 4 台のクライアントで測定しました。各クライアントは、RBD ( RADOS Block Devices) プロトコルを介して CEPH クラスター内のブロックデバイスに接続しました。

ワークロードプロファイル

4Kランダム
- 100% 読み取りおよび 100% 書き込み
8kシーケンシャル
- 100% 読み取りおよび 100% 書き込み
128kシーケンシャル
- 100% 読み取りおよび 100% 書き込み
1024kシーケンシャル
- 100% 読み取りおよび 100% 書き込み

ランダムな 4K 合成ベンチマークでは、SUSE Enterprise Storage (以降、略して SUSE と呼びます) は、個々のホストで 8,739 IOPS と 8,646 IOPS の読み取りスループットを達成でき、合計読み取りスコアは 17,385 IOPS でした。書き込みスループットでは、個々のホストは 4,571 IOPS と 4,880 IOPS に達し、合計スコアは 9,451 IOPS でした。

平均レイテンシを見ると、両方のホスト、つまりホスト間の平均は、読み取りと書き込みの両方で非常に近かったです。読み取り側では、個々のホストのレイテンシは 18.3 ミリ秒と 18.51 ミリ秒で、合計は 18.41 ミリ秒でした。書き込みの場合、個々のホストの所要時間は 34.99 ミリ秒と 32.78 ミリ秒で、合計は 33.88 ミリ秒でした。

最大遅延は、書き込みでかなり一貫したスコアを示し、個々のホストで 4,890 ミリ秒と 4,628 ミリ秒、合計で 4,759 ミリ秒でした。読み取りレイテンシでは、個々のホスト間でかなり大きな差異があり、レイテンシの範囲は 5,227.2 ミリ秒から 7,125.6 ミリ秒で、合計スコアは 6,176.4 ミリ秒でした。

標準偏差では、レイテンシが再び大幅に近づいていることがわかりました。個々のホストの読み取り遅延は 36.7 ミリ秒と 37.21 ミリ秒で、合計は 36.96 ミリ秒でした。書き込みレイテンシーは 80.18 ミリ秒から 89.84 ミリ秒で、合計スコアは 85.01 ミリ秒でした。

ここからは順次テストに切り替えます。最初のテストは 8k です。ここでは、SUSE 2 の 4 つのホストと SUSE 2 の 4 つのホストを使用した 2 つのテストセット (SUSE 66,610 と SUSE 66,763) を、各セットの合計スコアとともに調べます。 SUSE 5,235 では、5,375 および 133,373 IOPS の読み取りスループットと、10,608 および 4 IOPS の書き込みスループットが得られました。 47,629 つのホストを備えた SUSE の場合、合計スコアは読み取り 49,305 IOPS、書き込み 3,176 IOPS でした。 3,756 台のホストを備えた SUSE では、193,771 ～ 14,280 IOPS の範囲の読み取りスループットと XNUMX ～ XNUMX IOPS の範囲の書き込みスループットが得られ、合計スコアは読み取り XNUMX IOPS、書き込み XNUMX IOPS でした。

大きなブロック 128k のシーケンシャルテストに切り替えると、2.32 つのホストを備えた SUSE では、読み取りスループットが 2.34GB/s および 4.47GB/s となり、読み取り合計スコアが 568GB/s となりました。 572 つのホストシステムでは、書き込みスループットが 1.459MB/s と 2MB/s で、書き込み合計スコアは 2.644GB/s でした。 9.365 つのホストを備えた SUSE では、4GB/秒から 353GB/秒の範囲の読み取りスループットが得られ、読み取り合計スコアは 373GB/秒でした。書き込みスループットを見ると、1.46 台のホストを備えた SUSE では XNUMXMB/s から XNUMXMB/s の範囲のスループットが得られ、書き込み合計スコアは XNUMXGB/s でした。

さらに大きなブロック 1,024k のシーケンシャルテストに切り替えると、4.48 つのホストを備えた SUSE では、合計 4.5GB/s で 8.98GB/s と 869GB/s の読み取りスループットが得られました。書き込みスループットに関しては、885 つのホストを備えた SUSE では 1.755MB/s と 2.553MB/s のスループットが得られ、書き込みスループットの合計は 3.295GB/s でした。 11.863 台のホストシステムでは、372 GB/秒から 618 GB/秒の範囲の読み取りスループットが得られ、合計読み取りスループットは 1.828 GB/秒でした。書き込みスループットでは、XNUMX つのホスト SUSE は XNUMXMB/s から XNUMXMB/s の範囲のスループットを示し、書き込み合計スコアは XNUMXGB/s でした。

結論

SUSE Enterprise Storage は、増え続けるデータセットに苦戦している企業を支援するために設計された Ceph ベースの SDS ソリューションです。 SUSE は、あらゆる種類のデータの大容量ストレージとして Ceph を使用します。これは、ビッグデータが複数の形式で生成されるため有益です。 Ceph の柔軟性もプラスで、多かれ少なかれ何にでも導入できるため、企業は既存の投資に対して Ceph を使用して SUSE Enterprise Storage を活用できます (レビューでは HPE ProLiant サーバーと Apollo シャーシを使用しました)。柔軟性がセールスポイントですが、SUSE Enterprise Storage は適応性、自己管理性、自己修復性も優れています。つまり、SUSE Enterprise Storage を使用する管理者は、中断することなくパフォーマンスを迅速に変更し、より多くのストレージをプロビジョニングできるようになります。

パフォーマンスの面では、標準構成または調整されていない構成を実行しました。 Ceph では、設定できるバリエーションが大量にあります。 OS や Ceph を調整するのではなく、パフォーマンスのベースラインを設定するのに役立つ結果が得られます。 SUSE Enterprise Storage は大規模なシーケンシャル転送に特化しているため、多くのテストがこの方法で行われます。ユーザーが SUSE Enterprise Storage クラスターを持っている場合、大規模なシーケンシャルにそれを使用する可能性が高いため、それらの結果により関心を持つでしょう。そうは言っても、必ずしも対応していないものが提示された場合でも、システムがどのように動作するのか全体的なアイデアを得るために、4K ランダムテストを実行しました。

4K ランダムテストでは、表ではホスト 1 とホスト 2 と呼ばれる 17,385 つのクライアントを実行しました。それぞれのスコアだけでなく、組み合わせたスコアや合計スコアも調べました。スループットについては、SUSE Enterprise Storage の合計読み取りスコアは 9,451 IOPS、合計書き込みスコアは 4 IOPS でした。 18.41k レイテンシの場合、SUSE Enterprise Storage では、合計平均レイテンシが読み取り 33.88 ミリ秒、書き込み 6,176.4 ミリ秒、最大最大レイテンシの合計が読み取り 4,759 ミリ秒、書き込み 36.96 ミリ秒、合計標準偏差が読み取り 85.01 ミリ秒、書き込み XNUMX ミリ秒でした。

より大規模な連続テストは、4 つまたは 2 つのクライアントを備えた 4 つのホストで実行され、2 つと 4 つのクライアントのそれぞれの合計スコアも測定されました。 8k、128k、1024k を使用してシーケンシャルパフォーマンスをテストしました。当然のことながら、各テストでは、合計 4 つのクライアントホストが全体的に最高のパフォーマンスを示しました。 8k では、SUSE Enterprise Storage は読み取り 193,771 IOPS、書き込み 14,280 IOPS という高い合計スコアを示しました。 128k ベンチマークでは、高い合計スコアは読み取り 9.365GB/秒、書き込み 1.459BG/秒でした。そして、最終的な 1024k の大規模ブロックシーケンシャルベンチマークでは、SUSE Enterprise Storage は読み取り 11.863GB/s、書き込み 1.828GB/s という高い合計スコアを示しました。

メリット