希捷 ClusterStor Hadoop 工作流加速器和針對 Lustre 的 ClusterStor 工程解決方案發布

by 亞當·阿姆斯特朗 on 2014 年 11 月 17 日

企業 ◇ 伺服器

今天，Seagate Technologies 宣布推出新的解決方案 ClusterStor Hadoop Workflow Accelerator，為高性能計算 (HPC) 客戶提供工具、服務和支持。 Hadoop Workflow Accelerator 將利用並增強 ClusterStor 的性能，ClusterStor 是為大數據分析設計的橫向擴展存儲系統。希捷還宣布了其新的 ClusterStor Engineered Solution for Lustre。這個下一代解決方案提供高達 700% 的元數據性能改進。

希捷 ClusterStor Hadoop 工作流加速器將支持基於開源 Apache Hadoop 的 Hadoop 發行版。 Hadoop 工作流加速器顯著減少了計算密集型高性能數據分析環境中的數據傳輸時間，並將服務於大數據計算的技術計算和商業方面。 Hadoop 數據處理將在每個作業開始時立即啟用，從而減少獲得結果的時間並消除從單獨的數據存儲庫批量複製大量數據。該解決方案還包括 Hadoop on Lustre Connector。 Hadoop on Lustre 連接器允許 Hadoop 和 HPC Lustre 集群使用完全相同的數據，而無需在文件系統或存儲設備之間移動數據。

希捷 ClusterStor Hadoop 工作流加速器的特性包括：

測試顯示 Apache Hadoop 1.0 發行版相對於標準存儲配置有顯著改進，Hadoop Workflow Accelerator 在 HDFS 上的性能優於 Hadoop 高達 38%。
包括希捷開發的 Hadoop on Lustre Connector 和一系列 ClusterStor 性能優化最佳實踐、系統調優方法、安裝和配置管理工具以及專業服務。
擴展兼容性，希捷在 Lustre 連接器上設計的 Hadoop 系列將支持擴展到多個 Hadoop 生態系統包，例如 Mahout、Hive 和 Pig，以利用在高速網絡上運行的 Lustre 文件系統的並行讀/寫性能，例如作為 40 Gig-E 和 Infiniband。
兼容 Hadoop 1.0 和 Hadoop 2.0 或 Yarn 發行版
不需要更改代碼或重新編譯 Hadoop 或 Lustre 系統。
與現有的基於 HDFS 的 Hadoop 安裝兼容。在使用加速器之前無需將數據遷移到 Seagate ClusterStor，因為用戶可以在運行 Hadoop 作業時交替讀取或寫入 ClusterStor 和 HDFS。

新的 Lustre ClusterStor Engineered Solution 是唯一集成硬件、軟件和完整 Lustre 支持的所有方面的完整工程解決方案，支持最新版本的 Lustre 並行文件系統。

這個新解決方案的好處是：

通過在 Lustre 2.5 並行文件系統中實施分佈式命名空間 (DNE) 功能，提高了元數據性能和可擴展性。
ClusterStor 客戶現在可以選擇為每個文件系統添加多達 16 個 Lustre DNE 元數據服務器，從而使客戶端元數據性能提高高達 700%
每個文件系統的可擴展性高達 16 億個文件
支持更大集群的可擴展性改進
改進的安全功能，包括政府安全合規性
易於部署即將發布的 Lustre 版本

希捷還宣布推出 ClusterStor 安全數據設備 (SDA)。 ClusterStor SDA 包括 Kerberos 網絡身份驗證協議作為基礎，提供文件系統框架以啟用基於 Kerberos 的加密密鑰管理解決方案，以加密計算客戶端和存儲系統之間的網絡數據流量。希捷 ClusterStor SDA 是業界首個合規且安全的橫向擴展並行文件系統解決方案，提供了實施所有必要的強制訪問控制 (MAC)、顯式審計日誌記錄/跟踪、加密和支持功能以實施“最低權限”訪問的方法控制。

支持 Kerberos 的 SDA 的屬性包括：