2015年8月8日更新：Nutanix全球解决方案与性能工程总监Lukas Lundell在我们的论坛上回复。该回复包含一些不准确的言论，现已更正。
多年来，StorageReview 一直是最大的独立审查企业 IT 的渠道。 这是我们第一次不得不讲述一个正在进行的审查如何在没有发表的情况下结束的故事。 之前有几次供应商要求我们不要发布评论，但评论总是有效。 然而，这个故事明显不同，因为我们遇到了 Nutanix 的一组新行为。 总结是这样的； Nutanix 发送了一个 NX-8150 集群进行审查，我们的测试揭示了性能问题，Nutanix 在六个月内进行了多次软件更新以提高性能，XNUMX 月他们要求使用更新的基于 Haswell 的系统更新我们的集群，我们同意了，Nutanix 然后回溯并拒绝发送承诺的替代品。
这段简短的历史本身就是一个简单的事实，但为了向我们的读者充分披露，我们认为最好提供所发生事情的全部细节。 历史对于理解 Nutanix 在这种情况下的运作方式很重要，而且对于理解他们的态度如何对那些在日益拥挤和复杂的超融合解决方案世界中航行的人产生不利影响也很重要。 在向我们交付系统之前，我们就我们的测试能力和方法进行了多次对话。 我们于 8150 年 20 月 2015 日在现场 Nutanix 代表的协助下首次部署了 Nutanix NX-XNUMX 集群。
@BMBeeler @nutanix 的四节点集群刚刚到货！pic.twitter.com/KwXzZUAE7u
— Kevin OBrien (@TestLabNut) 2015 年 1 月 8 日
初始测试以带有 Nutanix OS (NOS) 4.0.2.2 的 VMmark 为中心。 对于大多数 VMmark 运行，我们从 10 个图块的中等数据集开始，以感受系统的行为。 在这种情况下，多次尝试 10 块瓷砖而没有获得及格分数。 为了支持我们的测试，Nutanix 表示有意复制 VMmark 环境，还建议使用一个数据存储而不是多个。 Nutanix 还指出，Storage vMotion 会对性能造成影响，这在正常客户部署中可能不会出现。 用于超融合的最终 VMmark 环境从中吸取了一些技巧，并为单个 Deploy LUN 使用了一个单独的 SAN。
VMmark 是一项基础架构工作负载，旨在测试计算、存储和网络资源在虚拟化环境中的大规模性能。它通过应用程序负载以及虚拟机间流量和 vMotion 活动来测试计算和存储的性能。有关 VMmark 及其组成组件的详细说明，请参阅此处。
对于运行 ESXi 的超融合平台，这可以被认为是最好的基准之一，因为它强调了集群的所有组件，并直接显示了在性能开始受到影响之前解决方案的 VM 密集程度。 Nutanix 不同意这个基准测试，声称它受 CPU/内存限制。 然而不幸的是，Nutanix 从未复制他们自己的 VMmark 测试设置来亲眼看看情况并非如此。
一月底，集群升级到了 NOS 4.1.1 版本，其中一项改进是提升性能。我们尝试使用Sysbench进行测试，但 Nutanix 对超融合系统的正确部署提出了担忧。因此，我们暂停了测试，以便将 Nutanix 的反馈意见整合到我们所有针对超融合系统的数据库测试方案中。同时，我们也决定等待即将发布的新版 NOS 软件。
4.1.2 月，集群升级到 NOS 4.1.3。 Nutanix 表示希望从我们之前对早期软件的测试中重做测试，我们不得不这样做。 再次尝试了一些测试，但随着 6.0 和 ESXi 6.0 的支持即将到来，我们选择暂停测试以允许 Nutanix 获得更高效的管理程序和 ESXi XNUMX 中的其他升级的好处。
XNUMX 月，Nutanix 举行了他们的第一届年度会议 .NEXT。 在活动中，Nutanix 表现出他们对性能测试感到不安的迹象。 此时，VMware Virtual SAN 集群已进入实验室进行审查，这进一步使 Nutanix 对性能测试采取防御措施。 然而，Nutanix 的性能工程师确实在活动中提供了广泛的建议； 其中许多建议已纳入我们测试超融合系统的最佳实践中。
当月晚些时候，Nutanix 将集群升级到 NOS 4.1.3，支持 ESXi 6.0。 再次执行 Sysbench 测试。 这个软件版本和我们更新的 sysbench 测试配置很有前途； 我们能够将 Sysbench 性能提高一倍，达到每个节点 600TPS，并且每个节点之间的事务平衡非常好。 出现了一些延迟峰值，但这些似乎并未影响整个集群事务计数。 使用应用程序进行测试会引入诸如文件系统和系统内存缓存等合成测试不会显示的元素。 尽管 Nutanix 是 Sysbench 测试方法的贡献者，但它不同意我们的数据库测试过程。 他们的解决方案是使用 vdbench（合成工作负载生成器）部署一个轻量级 VM，并对其进行监控以查看它是否满足某个级别的已定义工作负载参数。
进入七月，Nutanix 要求我们归还 NX-8150 集群，并表示希望我们评测基于 Haswell 架构的集群，他们声称该集群的性能将优于基于 Ivy Bridge 架构的硬件。我们接受了这一提议，因为 NX-8150 的销售周期已接近尾声。然而，此时双方的对话气氛急转直下。NX-8150 离开 StorageReview 实验室后，所有讨论又回到了原点，重新开始制定测试计划。Nutanix 要求我们执行他们的测试计划，但 Nutanix 列出的所有测试都是基于模拟环境而非实际应用的。Nutanix 的性能工程师必须先敲定测试方案，他们才会继续推进。承诺用于替换 NX-8150 的新设备也被搁置；Nutanix 拒绝发货，直到新的测试计划达成一致。
在我们反复进行测试的过程中，Nutanix 建议向我们提供他们自己的低规格 VSAN 平台和 Nutanix NX-3460-G4（每个节点 4 个 HDD 和 2 个 SSD）。 我们拒绝接受低端配置，并且拒绝在未经供应商批准或参与的情况下测试竞争对手系统的想法。 我们再次推动类似硬件的测试，但遇到了来自 Nutanix 的障碍。
3460 月底，Nutanix 提供了最后一次硬件报价，要求向我们发送 NX-4-GXNUMX 集群，以便我们审查界面和软件。 该提议首次明确指出，如果我们接受该集群，我们将无法对其运行任何类型的性能工作负载。 电子邮件摘录：
欢迎大家发布Nutanix Prism界面截图，当然是为了支持以上的评测。 我们恳请您为 Nutanix 提供在发布前 72 小时查看 Nutanix 产品（硬件和软件）的所有描述和评论的机会，以进行事实核查。 （我们希望这与您现有的审核流程一致）
在我们努力完成性能测试计划的同时，我们要求您不要进行任何测试来衡量 Nutanix 产品的性能或在 Nutanix 平台上运行的任何应用程序（包括测试软件）的性能。 具体来说，我们要求您不要使用任何定制开发或商业测试工具来衡量性能，包括但不限于 Sysbench、VMmark、IOmeter 和 Open LDAP。
我们将继续与您真诚合作，共同制定详细的测试计划（包括方法论和测试工具），用于未来对Nutanix产品性能的评估。 在我们达成共同商定的计划之前，我们要求您不要对 Nutanix 产品进行任何性能测试，也不要发布先前性能测试的结果。
我们也选择拒绝此提议，因为我们相信我们在读者群中的可信度取决于要讲述的完整故事，而不仅仅是供应商要求的亮点。 此外，Nutanix 目前提出的测试计划适用于学习系统和表征轻量级行为，但并未显示客户在初始部署后需求增长时的期望。
最终，Nutanix 给我们寄来了一套集群，并配备了我们用于共享存储平台的、业内常用的测试工具，他们甚至直截了当地说：“……你们可以尽情测试。” 然而，Nutanix 一发现他们的 NX-8150 可以与其他硬件/软件解决方案相媲美，就立即收回了设备，并且除非按照他们的条件，否则不再发货。我对此负有责任。我当时认为，提供更新版本的评测对我们的读者会更好。可惜的是，事与愿违。Nutanix 现在坚持认为他们的测试方案应该成为超融合架构的标准，考虑到他们的测试方案主要依赖综合测试工具，而且并不着重测试集群性能，这多少有些令人惊讶。
不过，围绕超融合测试的优点和最佳实践，这是一场更长时间的辩论，我们很高兴有这样的辩论。 虽然现在，我们不会对 Nutanix 进行审查，但我们会继续与该领域的许多其他人一起推进，他们对现实世界的应用程序测试和独立评估持开放态度。
2015年8月8日更新：Nutanix公司的Lukas Lundell已在我们的论坛上发表声明（点击此处查看）。该声明最初包含有关Nutanix NX-8150（已寄送给StorageReview）内部SSD容量的不准确信息。Lukas已对此进行了更正。
Amazon