本日、Seagate Technologies は、ハイ パフォーマンス コンピューティング (HPC) の顧客にツール、サービス、サポートを提供する新しいソリューションである ClusterStor Hadoop Workflow Accelerator の提供を発表しました。 Hadoop ワークフロー アクセラレータは、ビッグ データ分析用に設計されたスケールアウト ストレージ システムである ClusterStor を活用し、そのパフォーマンスを強化します。 Seagate は、Lustre 用の新しい ClusterStor Engineered Solution も発表しました。この次世代ソリューションでは、メタデータのパフォーマンスが最大 700% 向上します。
Seagate ClusterStor Hadoop Workflow Accelerator は、オープンソースの Apache Hadoop に基づく Hadoop ディストリビューションをサポートします。 Hadoop ワークフロー アクセラレータは、計算負荷の高いハイ パフォーマンス データ分析環境でのデータ転送時間を大幅に短縮し、ビッグ データ コンピューティングの技術的なコンピューティングと商業的な側面の両方に役立ちます。 Hadoop データ処理は各ジョブの開始時にすぐに有効になり、結果が得られるまでの時間が短縮され、別のデータ リポジトリから大量のデータを一括コピーする必要がなくなりました。このソリューションには、Hadoop on Lustre コネクタも含まれています。 Hadoop on Lustre コネクタを使用すると、ファイル システムやストレージ デバイス間でデータを移動することなく、Hadoop クラスタと HPC Lustre クラスタの両方でまったく同じデータを使用できるようになります。
Seagate ClusterStor Hadoop Workflow Accelerator の機能は次のとおりです。
- テストでは、Apache Hadoop 1.0 ディストリビューションは標準のストレージ構成と比べて顕著な改善が見られ、Hadoop Workflow Accelerator は HDFS 上の Hadoop よりも最大 38% 優れたパフォーマンスを示しました。
- Seagate が開発した Hadoop on Lustre Connector と、ClusterStor パフォーマンス最適化の一連のベスト プラクティス、システム チューニング方法、インストールおよび構成管理ツール、プロフェッショナル サービスが含まれています。
- Seagate が設計した Lustre コネクタの Hadoop ファミリは互換性を拡張するため、Mahout、Hive、Pig などのいくつかの Hadoop エコシステム パッケージのサポートを拡張し、高速ネットワークで動作する Lustre ファイル システムの並列読み取り/書き込みパフォーマンスを活用します。 40 Gig-E および Infiniband として。
- Hadoop 1.0 と Hadoop 2.0 の両方、または Yarn ディストリビューションと互換性があります
- コードの変更や、Hadoop または Lustre システムの再コンパイルは必要ありません。
- 既存の HDFS ベースの Hadoop インストールと互換性があります。ユーザーは Hadoop ジョブの実行中に ClusterStor と HDFS を交互に読み書きできるため、アクセラレータを使用する前にデータを Seagate ClusterStor に移行する必要はありません。
新しい ClusterStor Engineered Solution for Lustre は、ハードウェア、ソフトウェア、および最新バージョンの Lustre 並列ファイル システムに対する完全な Lustre サポートのすべての側面を統合する、唯一の完全に設計されたソリューションです。
この新しいソリューションの利点は次のとおりです。
- Lustre 2.5 並列ファイル システムでの分散名前空間 (DNE) 機能の実装により、メタデータのパフォーマンスとスケーラビリティが向上しました。
- ClusterStor の顧客は、単一のファイル システムごとに最大 16 台の Lustre DNE メタデータ サーバーを追加できるオプションを利用できるようになり、クライアント メタデータのパフォーマンスが最大 700% 向上します。
- ファイル システムあたり最大 16 億ファイルまでの拡張性
- 大規模なクラスターをサポートするスケーラビリティの進歩
- 政府のセキュリティコンプライアンスを含むセキュリティ機能の向上
- 今後の Lustre リリースの導入が容易
Seagate は、ClusterStor Secure Data Appliance (SDA) の利用可能性も発表しました。 ClusterStor SDA には、Kerberos に基づく暗号化キー管理ソリューションがコンピューティング クライアントとストレージ システム間のネットワーク データ トラフィックを暗号化できるようにするファイル システム フレームワークを提供する基盤として Kerberos ネットワーク認証プロトコルが含まれています。 Seagate ClusterStor SDA は、業界初の準拠した安全なスケールアウト並列ファイル システム ソリューションであり、必要なすべての必須アクセス制御 (MAC)、明示的な監査ログ/追跡、暗号化、および「最小権限」アクセスを強制するためのサポート機能を実装する手段を提供します。コントロール。
Kerberos が有効になっている SDA の属性には次のものがあります。
- ICD 503 地理空間画像データのキャプチャと分析のためのマルチレベル セキュリティ
- 大きなサイズの画像ファイルをキャプチャして分析するパフォーマンス機能により、意思決定サポートの精度が向上し、結果が得られるまでの時間が短縮されます。
- カスタマイズされたコンピューティングクライアントからディスクへの暗号化およびキー管理ソリューションを可能にするフレームワーク
利用状況
Seagate ClusterStor Hadoop Workflow Accelerator は、一連の個別の製品バンドルとして 2015 年 XNUMX 月に発売される予定です。
Seagate の Lustre 用の新しい ClusterStor Engineered Solution が現在利用可能です。
Kerberos を搭載した Seagate ClusterStor SDA は来月利用可能になる予定です。
Amazon