VMware 的首款软件定义数据中心产品 Virtual SAN (VSAN) 5.5于上月发布，并受到了希望充分利用传统计算服务器的企业的热烈欢迎。VSAN 本质上为用户提供对冗余节点的访问，这些节点集成了计算和存储功能，并可与虚拟化环境无缝衔接，所有这一切都通过 VMware 的 vSphere 客户端进行管理。根据 VMware 的内部基准测试，VSAN 在 32 节点集群中能够达到 2 万 IOPS。VMware 是如何实现这一目标的？他们使用了哪些配置细节来实现这一壮举？
VMware 最近发布了他们的测试配置，该配置达到了惊人的 2 万 IOPS 数字。 当然，我们知道 IOPS 只是任何存储产品性能图的一部分，应用程序测试将更多地揭示 VSAN 在延迟和潜在吞吐量方面的能力，但当今的行业在很大程度上将 IOPS 理解为存储性能的衡量标准.
VMware 公布了两种场景下的 VSAN 性能测试结果：1) 100% 读取工作负载；2) 70% 读取、30% 写入工作负载。首先，每台主机均使用一台戴尔 PowerEdge R720服务器，配备双路英特尔至强 E5-2650 v2 @ 2.6GHz（Ivy Bridge 架构）处理器、128GB 内存、10GbE 以太网接口、LSI 9207-8i 控制器、1 块 400GB 英特尔 S3700 固态硬盘，以及 4 块 1.1TB 10K RPM 日立 SAS 硬盘和 3 块 1.1TB 10K RPM 希捷 SAS 硬盘。
VMware 在集群上使用 vSphere 5.5 U1 和 Virtual SAN 5.5，对 vSphere 中的默认设置进行了以下更改：
- 将 vSphere 网络堆栈的堆大小增加到 512MB。 “esxcli 系统设置高级设置 -o /Net/TcpipHeapMax -i 512”。 您可以使用“esxcli 系统设置高级列表 -o /Net/TcpipHeapmax”验证此设置
- 允许 VSAN 形成 32 台主机的集群。 “esxcli 系统设置高级设置 -o /adv/CMMDS/goto11 1”。
- 为 LSI 存储控制器安装了 Phase 18 LSI 驱动程序（mpt2sas 版本 18.00.00.00.1vmw）。
- 为“性能”配置的 BIOS 电源管理（系统配置文件设置）（例如，禁用所有节能功能）
如需了解 ESXi 配置的更多详细信息，请访问VMware 知识库页面。
100% 读取基准设置
VMware 让每台主机在 VSAN 数据存储上运行一个 4-vcpu 32 位 Ubuntu 12.04 VM 和 8 个虚拟磁盘（vmdk 文件），磁盘分布在两个 PVSCSI 控制器上。 还使用了 pvscsi 的默认驱动程序（版本 1.0.2.0-k）。
为了更好地支持具有高 I/O 的大规模工作负载，VMware 将 pvscsi 的启动时参数修改为“vmw_pvscsi.cmd_per_lun=254 vmw_pvscsi.ring_pages=32”。有关此配置的更多详细信息，请访问VMware 知识库。VMware 为本次基准测试中的 vmdk 文件应用了基于存储策略的管理设置，即 HostFailuresToTolerate=0。
在每个 VM 中运行具有 8 个工作线程的 IOMeter，每个线程都配置为在 8 GB 的单个 vmdk 上工作。 此外，每个线程运行 100% 读取、80% 随机工作负载，4096 字节 IO 与 4096 字节边界对齐，每个工作线程 16 个 OIO。 本质上，每台主机上的每台虚拟机都会发出以下消息：
- 跨 4096GB 工作集的 64 字节 IO 请求
- 100% 阅读，80% 随机
- 128 OIO/主机的聚合
VMware 运行了一个小时的配置，以 60 秒的时间间隔测量聚合客户机 IOPS。 这导致前所未有的 IOPS 中值达到 2,024,000。
70% 读取 30% 写入基准
在 70/30 IO 配置文件中，每台主机在 VSAN 数据存储上运行一个 4-vcpu 32 位 Ubuntu 12.04 虚拟机和 8 个虚拟磁盘（vmdk 文件）。 此外，磁盘分布在两个 PVSCSI 控制器上。 使用了pvscsi的默认驱动（1.0.2.0-k版本），同时修改了pvscsi的启动时间参数，提高了对high outstanding IO的支持能力：“vmw_pvscsi.cmd_per_lun=254 vmw_pvscsi.ring_pages=32”。
就像在 100% 读取配置中一样，VMware 在每个 VM 中运行 IOMeter 和 8 个工作线程，尽管每个线程都配置为在 4GB 的单个 vmdk 上工作。 每个线程运行 70% 读取、80% 随机工作负载，4096 字节 IO 与 4096 字节边界对齐，8 个 OIO。
本质上，每台主机上的每台虚拟机都会发出以下消息：
- 跨 4096GB 工作集的 32 字节 IO 请求
- 70% 阅读，80% 随机
- 64 OIO/主机的聚合
在 70/30 测试中，VMware 记录了 652,900 iops 的速度，平均延迟为 2.98ms，这段时间内的带宽为 3.2GB/s。
这意味着什么？
虽然还需要进行更多基准测试，包括我们包含 SQL Server 和 VMmark 等工具的基准测试套件，但很明显，从这些性能数据来看（尽管集群最大只有 32 个节点），VSAN 在性能方面具有巨大的潜力。此外，值得注意的是，VMware 在背板上只使用了 8 个硬盘位，如果采用这种配置，他们完全可以将存储容量翻倍，即在每个节点上增加一块 SSD 和 7 块 HDD。
VMware Virtual SAN 目前的售价为每处理器 2,495 美元，VMware Virtual SAN for Desktop 的售价为每位用户 50 美元。
Amazon