SUSE Enterprise Storage 是由 Ceph 提供支持的软件定义存储解决方案，旨在帮助企业管理不断增长的数据集。 此外，SUSE 旨在通过利用有利的存储经济性来提供帮助，因为硬盘驱动器继续变得更大，闪存价格继续下降。 虽然通常配置为混合，但 Ceph 最终会像客户要求的那样灵活。 虽然现在很多软件定义的热情都集中在主存储和超融合产品上，但 Ceph 也在帮助推动重要的硬件开发。 HP、Dell、Supermicro 和其他公司都在具有多个计算节点的密集型 3.5" 机箱上投入了大量资金，以努力提供 Ceph 所需的底层硬件平台。在本次特别审查中，我们利用了 HPE 设备，包括 ProLiant 服务器和 Apollo 机箱，但 SUSE Enterprise Storage 几乎可以部署在任何设备上。
SUSE Enterprise Storage 是由 Ceph 提供支持的软件定义存储解决方案，旨在帮助企业管理不断增长的数据集。 此外，SUSE 旨在通过利用有利的存储经济性来提供帮助，因为硬盘驱动器继续变得更大，闪存价格继续下降。 虽然通常配置为混合，但 Ceph 最终会像客户要求的那样灵活。 虽然现在很多软件定义的热情都集中在主存储和超融合产品上，但 Ceph 也在帮助推动重要的硬件开发。 HP、Dell、Supermicro 和其他公司都在具有多个计算节点的密集型 3.5" 机箱上投入了大量资金，以努力提供 Ceph 所需的底层硬件平台。在本次特别审查中，我们利用了 HPE 设备，包括 ProLiant 服务器和 Apollo 机箱，但 SUSE Enterprise Storage 几乎可以部署在任何设备上。
虽然深入探讨 Ceph 超出了本次审查的范围，但对什么是 Ceph 有一个基本的了解很重要。 Ceph 是一种软件存储平台，其独特之处在于能够在一个统一的系统中提供对象、块和文件存储。 Ceph 的另一个吸引人的特性是它具有高度可扩展性，并且可以高度扩展到 EB 级数据。 它可以在商品硬件上运行（意味着不需要任何特殊的东西）。 Ceph 旨在避免单点故障。 每个人都感兴趣的是，Ceph 是免费提供的。
用户可以在使用多个智能守护进程的商品硬件上设置一个 Ceph 节点，特别是四个：集群监视器 (ceph-mon)、元数据服务器 (ceph-mds)、对象存储设备 (ceph-osd) 和代表性状态传输 ( RESTful) 网关 (ceph-rgw)。 为了更好地保护用户数据并使其具有容错能力，Ceph 复制数据并将其条带化到多个节点以实现更高的吞吐量。
SUSE Enterprise Storage 正在使用 Ceph 作为超大型、经济高效的大容量存储来存储多种数据。 数据只会增长，大数据非常有价值，但会占用大量容量。 大数据可以为公司提供对他们的底线非常有价值的洞察力，但为了分析这些数据，他们需要同时在某个地方存储它。 除了能够以经济高效的方式存储海量数据外，SUSE Enterprise Storage 还具有高度的适应性。 该软件具有自我管理和自我修复功能，是快速适应需求变化的理想之选。 这意味着，管理员可以在不中断的情况下快速调整性能并配置额外的存储空间。 这种适应性有助于为与 SUSE Enterprise Storage 一起使用的商用硬件提供灵活性。
SUSE 企业存储功能
- 缓存分层
- 精简配置
- 写时复制克隆
- 纠删码
- 异构操作系统块访问 (iSCSI)
- 统一对象、块和文件系统访问（技术预览）
- 用于编程访问的 API
- OpenStack 集成
- 节点或容量的在线可扩展性
- 在线软件更新
- 静态数据加密
SUSE Enterprise Storage 硬件配置
监控节点跟踪集群状态，但不位于数据路径中。 在我们的例子中，三个监控节点是 1U HPE ProLiant DL360 服务器。 对于大多数 SUSE Enterprise Storage 集群，三个监控节点就足够了，但如果存储节点数量非常多，企业可能会部署五个或更多。
SUSE 存储节点可水平扩展，由三个 HPE Apollo 4200 节点和三个 HPE Apollo 4510 节点组成。 在我们的配置中，数据在存储节点上一式三份地写入，当然这可以根据需要进行更改。 保护级别可在池级别定义。
- 3 个 HPE Apollo 4200 节点
- 2 个英特尔 E5-2680 v3 处理器
- 320GB内存
- M.2 启动套件
- 4x 480GB SSD
- 24 个 6TB SATA 7.2k 驱动器
- 1x 40Gb 双端口适配器
- 3 个 HPE Apollo 4510 节点
- 2 个 e5-2690 v3 处理器
- 320GB内存
- M.2 启动套件
- 4x 480GB SSD
- 24 个 6TB SATA 7.2k 驱动器
- 1x 40Gb 双端口适配器
- 3 个 HPE ProLiant DL360 节点
- 1 E5-2660v3
- 64GB内存
- 2x 80GB SSD
- 6x 480GB SSD
- 1x 40Gb 双端口适配器
- 2 个 HP FlexFabric 5930-32QSFP+ 交换机
- 服务器配置
- 带有 SUSE Enterprise Storage 的 SUSE Linux Enterprise Server 12 SP1
- 为日志设备以 6:1 的 HDD 与 SSD 比例部署的 OSD
- HPE Apollo 4200s 和 4510s 共同参与一个存储集群，共有 144 个存储设备
- DL360s 充当管理员、监视器和 Romana GUI 角色
- 6个存储节点均部署iSCSI网关服务
SUSE 企业存储管理
大多数 SUSE 企业存储是通过 CLI 管理的，尽管也有基于 Web 的 GUI。 目前 SUSE 正在使用 Calamari 作为其 GUI，不过这可能会在未来发生变化。 一旦用户设置好 Calamari 并打开，他们就会看到人们通常对 GUI 的期望。 主页有四个横跨顶部的主要选项卡，包括：仪表板、工作台、图表和管理。 仪表板选项卡（默认打开的选项卡）显示系统的健康状况以及任何当前活动的警告。 显示集群中 OSD 的总数，同时还指示了上下总量。 显示监视器的数量（总数/和正在运行的）。 并指出池的总量。 在这些下方是归置组状态，包括活动和干净的数字以及显示用户干净（绿色）、工作（黄色）和脏（红色）的颜色代码系统。
Workbench 选项卡为用户提供了 OSD 数量的图形表示，哪些正在正常运行，哪些已关闭。 从图中可以看出，虽然大多数都正确运行并以绿色表示，但有一个向下以红色突出显示并且稍大。 在左侧，用户可以按 OSD 进行排序和过滤。
通过 Workbench 选项卡，用户还可以获得存储性能的图形表示。 在下面的示例中，用户可以看到他们的读写 IOPS、存储利用率以及报告的主机数量。
使用“图表”选项卡，用户可以选择一个集群并获得显示集群性能的折线图，同时显示读取和写入。
管理选项卡允许用户编辑集群、OSD、池和查看日志。 在 OSD 子选项卡下，用户可以看到左侧列出的主机以及每个主机中的 OSD。 用户可以移动 OSD 来平衡负载。
企业综合工作负载分析
存储性能随着阵列适应其工作负载而变化，这意味着存储设备必须在每个 fio 综合基准 以确保基准是准确的。 在每个测试中，我们使用与主要测试相同的工作负载对组进行预处理。 为了进行测试，我们使用未经调整的库存配置运行 SUSE Enterprise。 在未来，SUSE 测试可能会在特定操作系统和 Ceph 调整下运行。
预处理和初级稳态测试：
- 吞吐量（读+写 IOPS 聚合）
- 平均延迟（读+写延迟一起平均）
- 最大延迟（峰值读取或写入延迟）
- 延迟标准偏差（读+写标准偏差一起平均）
Dell PowerEdge LoadGen 规格
- Dell PowerEdge R730 服务器 (2-4)
- CPU：双 Intel Xeon E5-2690 v3 2.6GHz (12C/28T)
- 内存：每个 128GB DDR4 RDIMM
- 网络：Mellanox ConnectX-3 40GbE
由于 SUSE Enterprise Storage 集群适用于大型顺序传输，我们包括一项随机工作负载测试，同时将三个顺序传输测试集中在不断增加的传输大小的集群上。 每个工作负载都应用了 10 个线程和 16 个未完成的队列深度。随机工作负载应用了 2 个客户端，结果合并为一个总分，而顺序结果是用 2 个和 4 个客户端测量的。 每个客户端通过 RBD (RADOS 块设备）协议。
工作负载配置文件
- 4k随机
- 100% 读取和 100% 写入
- 8k 连续
- 100% 读取和 100% 写入
- 128k 连续
- 100% 读取和 100% 写入
- 1024k 连续
- 100% 读取和 100% 写入
在我们的随机 4k 综合基准测试中，SUSE Enterprise Storage（以下简称 SUSE）能够在单个主机上达到 8,739 和 8,646 IOPS 的读取吞吐量，总读取分数为 17,385 IOPS。 在写入吞吐量方面，单个主机达到 4,571 和 4,880 IOPS，总得分为 9,451 IOPS。
从平均延迟来看，两台主机以及它们之间的平均延迟在读取和写入方面都非常接近。 在读取端，各个主机的延迟分别为 18.3 毫秒和 18.51 毫秒，总延迟为 18.41 毫秒。 对于写入，单个主机有 34.99 毫秒和 32.78 毫秒，总计 33.88 毫秒。
最大延迟在写入方面显示出相当一致的分数，单个主机分别为 4,890 毫秒和 4,628 毫秒，总计为 4,759 毫秒。 对于读取延迟，各个主机之间存在更大的差异，延迟从 5,227.2 毫秒到 7,125.6 毫秒不等，总得分为 6,176.4 毫秒。
标准偏差再次看到延迟再次拉近。 各个主机的读取延迟分别为 36.7 毫秒和 37.21 毫秒，总延迟为 36.96 毫秒。 写入延迟从 80.18 毫秒到 89.84 毫秒不等，总得分为 85.01 毫秒。
从这里我们切换到顺序测试，第一个是我们的 8k。 在这里，我们查看两组测试（SUSE 2 和 SUSE 4），其中两台主机在 SUSE 2 中，四台主机在 SUSE 4 中，每组都有总分。 SUSE 2 为我们提供了 66,610 和 66,763 IOPS 的读取吞吐量以及 5,235 和 5,375 IOPS 的写入吞吐量。 对于具有两个主机的 SUSE，我们的总得分为 133,373 IOPS 读取和 10,608 IOPS 写入。 具有 4 个主机的 SUSE 为我们提供了 47,629 到 49,305 IOPS 的读取吞吐量和 3,176 到 3,756 IOPS 的写入吞吐量，总得分为 193,771 IOPS 读取和 14,280 IOPS 写入。
切换到大块 128k 顺序测试，具有两个主机的 SUSE 为我们提供了 2.32GB/s 和 2.34GB/s 的读取吞吐量，读取总得分为 4.47GB/s。 这两个主机系统为我们提供了 568MB/s 和 572MB/s 的写入吞吐量，写入总得分为 1.459GB/s。 具有四台主机的 SUSE 为我们提供了从 2GB/s 到 2.644GB/s 的读取吞吐量，读取总得分为 9.365GB/s。 查看写入吞吐量，具有 4 个主机的 SUSE 为我们提供了 353MB/s 到 373MB/s 的吞吐量，写入总得分为 1.46GB/s
切换到更大的块 1,024k 顺序测试，具有两个主机的 SUSE 为我们提供了 4.48GB/s 和 4.5GB/s 的读取吞吐量，总计为 8.98GB/s。 对于写入吞吐量，具有两台主机的 SUSE 为我们提供了 869MB/s 和 885MB/s 的吞吐量，写入吞吐量合计为 1.755GB/s。 四台主机系统为我们提供了 2.553GB/s 到 3.295GB/s 的读取吞吐量，读取总吞吐量为 11.863GB/s。 在写入吞吐量方面，四台 SUSE 主机为我们提供了 372MB/s 到 618MB/s 的吞吐量，写入总得分为 1.828GB/s。
结语
SUSE Enterprise Storage 是一种基于 Ceph 的 SDS 解决方案，旨在帮助那些正在努力应对不断增长的数据集的公司。 SUSE 使用 Ceph 作为所有类型数据的大容量存储，这在大数据以多种形式生成时是有益的。 Ceph 的灵活性也是一个优势，因为它或多或少可以部署在任何东西上，这意味着公司可以在现有投资上利用 SUSE Enterprise Storage 和 Ceph（在我们的审查中，我们使用了 HPE ProLiant 服务器和 Apollo 机箱）。 灵活性是一个卖点，但 SUSE Enterprise Storage 还具有高度适应性、自我管理和自我修复能力。 换句话说，使用 SUSE Enterprise Storage 的管理员将能够在不中断的情况下快速更改性能并配置更多存储。
在性能方面，我们运行了一个库存或未调整的配置。 使用 Ceph 可以配置大量的变体。 我们看到的结果不是调整操作系统或 Ceph，而是帮助设置性能基准。 SUSE Enterprise Storage 更适合大型顺序传输，因此我们的更多测试都倾向于这种方式。 如果用户拥有 SUSE Enterprise Storage 集群，他们很可能将其用于大型顺序，因此会对这些结果更感兴趣。 话虽这么说，我们仍然运行了 4k 随机测试，以全面了解系统如何运行，即使它出现了一些不一定适合的东西。
在我们的 4k 随机测试中，我们运行了两个客户端，在图表中称为主机 1 和主机 2。 我们查看了每个分数以及组合或总分。 对于吞吐量，SUSE Enterprise Storage 为我们提供了 17,385 IOPS 的总读取分数和 9,451 IOPS 的总写入分数。 对于 4k 延迟，SUSE Enterprise Storage 为我们提供了 18.41 毫秒读取和 33.88 毫秒写入的聚合平均延迟，6,176.4 毫秒读取和 4,759 毫秒写入的聚合最大延迟，以及 36.96 毫秒读取和 85.01 毫秒写入的聚合标准偏差。
更大的顺序测试是用 4 个主机和 2 个或 4 个客户端以及 2 个和 4 个客户端中每个客户端的总分进行的。 我们使用 8k、128k 和 1024k 测试了顺序性能。 不出所料，在每次测试中总计 4 个客户端主机的整体表现最佳。 在 8k 中，SUSE Enterprise Storage 为我们提供了 193,771 IOPS 读取和 14,280 IOPS 写入的高总分。 在我们的 128k 基准测试中，最高总分是 9.365GB/s 读取和 1.459BG/s 写入。 在我们最终的 1024k 大块顺序基准测试中，SUSE Enterprise Storage 为我们提供了 11.863GB/s 读取和 1.828GB/s 写入的高总分。
优点
- 用于扩展数据集的高度可扩展的解决方案
- 软件定义意味着部署的灵活性
- 提供传统连接支持，例如 iSCSI
- 可以针对特定工作负载和确切需求进行调整
缺点
- 可以改进 Radom IO 支持以扩大用例
- 需要强大的基于 Linux 的部署和管理技能
底线
SUSE Enterprise Storage 为希望存储和利用大数据的公司提供了充足的规模、灵活性和高度的适应性。
