2015年8月8日更新：Nutanix全球解決方案與性能工程總監Lukas Lundell在我們的論壇上回覆。回覆包含一些不準確的言論，現已更正。
多年來，StorageReview 一直是最大的獨立審查企業 IT 的渠道。 這是我們第一次不得不講述一個正在進行的審查如何在沒有發表的情況下結束的故事。 之前有幾次供應商要求我們不要發布評論，但評論總是有效。 然而，這個故事明顯不同，因為我們遇到了 Nutanix 的一組新行為。 總結是這樣的； Nutanix 發送了一個 NX-8150 集群進行審查，我們的測試揭示了性能問題，Nutanix 在六個月內進行了多次軟件更新以提高性能，XNUMX 月他們要求使用更新的基於 Haswell 的系統更新我們的集群，我們同意了，Nutanix 然後回溯並拒絕發送承諾的替代品。
這段簡短的歷史本身就是一個簡單的事實，但為了向我們的讀者充分披露，我們認為最好提供所發生事情的全部細節。 歷史對於理解 Nutanix 在這種情況下的運作方式很重要，而且對於理解他們的態度如何對那些在日益擁擠和復雜的超融合解決方案世界中航行的人產生不利影響也很重要。 在向我們交付系統之前，我們就我們的測試能力和方法進行了多次對話。 我們於 8150 年 20 月 2015 日在現場 Nutanix 代表的協助下首次部署了 Nutanix NX-XNUMX 集群。
@BMBeeler @nutanix 的四節點叢集剛剛到貨！pic.twitter.com/KwXzZUAE7u
— Kevin OBrien (@TestLabNut) 2015 年 1 月 8 日
初始測試以帶有 Nutanix OS (NOS) 4.0.2.2 的 VMmark 為中心。 對於大多數 VMmark 運行，我們從 10 個圖塊的中等數據集開始，以感受系統的行為。 在這種情況下，多次嘗試 10 塊瓷磚而沒有獲得及格分數。 為了支持我們的測試，Nutanix 表示有意複製 VMmark 環境，還建議使用一個數據存儲而不是多個。 Nutanix 還指出，Storage vMotion 會對性能造成影響，這在正常客戶部署中可能不會出現。 用於超融合的最終 VMmark 環境從中吸取了一些技巧，並為單個 Deploy LUN 使用了一個單獨的 SAN。
VMmark 是一項基礎架構工作負載，旨在測試運算、儲存和網路資源在虛擬化環境中的大規模效能。它透過應用程式負載以及虛擬機器間流量和 vMotion 活動來測試計算和儲存的效能。有關 VMmark 及其組成組件的詳細說明，請參閱此處。
對於運行 ESXi 的超融合平台，這可以被認為是最好的基準之一，因為它強調了集群的所有組件，並直接顯示了在性能開始受到影響之前解決方案的 VM 密集程度。 Nutanix 不同意這個基準測試，聲稱它受 CPU/內存限制。 然而不幸的是，Nutanix 從未復制他們自己的 VMmark 測試設置來親眼看看情況並非如此。
一月底，叢集升級到了 NOS 4.1.1 版本，其中一項改進是提升效能。我們嘗試使用Sysbench進行測試，但 Nutanix 對超融合系統的正確部署提出了擔憂。因此，我們暫停了測試，以便將 Nutanix 的回饋意見整合到我們所有針對超融合系統的資料庫測試方案中。同時，我們也決定等待即將發表的新版 NOS 軟體。
4.1.2 月，集群升級到 NOS 4.1.3。 Nutanix 表示希望從我們之前對早期軟件的測試中重做測試，我們不得不這樣做。 再次嘗試了一些測試，但隨著 6.0 和 ESXi 6.0 的支持即將到來，我們選擇暫停測試以允許 Nutanix 獲得更高效的管理程序和 ESXi XNUMX 中的其他升級的好處。
XNUMX 月，Nutanix 舉行了他們的第一屆年度會議 .NEXT。 在活動中，Nutanix 表現出他們對性能測試感到不安的跡象。 此時，VMware Virtual SAN 集群已進入實驗室進行審查，這進一步使 Nutanix 對性能測試採取防禦措施。 然而，Nutanix 的性能工程師確實在活動中提供了廣泛的建議； 其中許多建議已納入我們測試超融合系統的最佳實踐中。
當月晚些時候，Nutanix 將集群升級到 NOS 4.1.3，支持 ESXi 6.0。 再次執行 Sysbench 測試。 這個軟件版本和我們更新的 sysbench 測試配置很有前途； 我們能夠將 Sysbench 性能提高一倍，達到每個節點 600TPS，並且每個節點之間的事務平衡非常好。 出現了一些延遲峰值，但這些似乎並未影響整個集群事務計數。 使用應用程序進行測試會引入諸如文件系統和系統內存緩存等合成測試不會顯示的元素。 儘管 Nutanix 是 Sysbench 測試方法的貢獻者，但它不同意我們的數據庫測試過程。 他們的解決方案是使用 vdbench（合成工作負載生成器）部署一個輕量級 VM，並對其進行監控以查看它是否滿足某個級別的已定義工作負載參數。
進入七月，Nutanix 要求我們歸還 NX-8150 集群，並表示希望我們評測基於 Haswell 架構的集群，他們聲稱該集群的性能將優於基於 Ivy Bridge 架構的硬體。我們接受了這項提議，因為 NX-8150 的銷售週期已接近尾聲。然而，此時雙方的對話氣氛急轉直下。 NX-8150 離開 StorageReview 實驗室後，所有討論又回到了原點，重新開始製定測試計劃。 Nutanix 要求我們執行他們的測試計劃，但 Nutanix 列出的所有測試都是基於模擬環境而非實際應用的。 Nutanix 的性能工程師必須先敲定測試方案，他們才會繼續前進。承諾用於取代 NX-8150 的新設備也被擱置；Nutanix 拒絕發貨，直到新的測試計劃達成協議。
在我們反復進行測試的過程中，Nutanix 建議向我們提供他們自己的低規格 VSAN 平台和 Nutanix NX-3460-G4（每個節點 4 個 HDD 和 2 個 SSD）。 我們拒絕接受低端配置，並且拒絕在未經供應商批准或參與的情況下測試競爭對手系統的想法。 我們再次推動類似硬件的測試，但遇到了來自 Nutanix 的障礙。
3460 月底，Nutanix 提供了最後一次硬件報價，要求向我們發送 NX-4-GXNUMX 集群，以便我們審查界面和軟件。 該提議首次明確指出，如果我們接受該集群，我們將無法對其運行任何類型的性能工作負載。 電子郵件摘錄：
歡迎大家發布Nutanix Prism界面截圖，當然是為了支持以上的評測。 我們懇請您為 Nutanix 提供在發布前 72 小時查看 Nutanix 產品（硬件和軟件）的所有描述和評論的機會，以進行事實核查。 （我們希望這與您現有的審核流程一致）
在我們努力完成性能測試計劃的同時，我們要求您不要進行任何測試來衡量 Nutanix 產品的性能或在 Nutanix 平台上運行的任何應用程序（包括測試軟件）的性能。 具體來說，我們要求您不要使用任何定制開發或商業測試工具來衡量性能，包括但不限於 Sysbench、VMmark、IOmeter 和 Open LDAP。
我們將繼續與您真誠合作，共同製定詳細的測試計劃（包括方法論和測試工具），用於未來對Nutanix產品性能的評估。 在我們達成共同商定的計劃之前，我們要求您不要對 Nutanix 產品進行任何性能測試，也不要發布先前性能測試的結果。
我們也選擇拒絕此提議，因為我們相信我們在讀者群中的可信度取決於要講述的完整故事，而不僅僅是供應商要求的亮點。 此外，Nutanix 目前提出的測試計劃適用於學習系統和表徵輕量級行為，但並未顯示客戶在初始部署後需求增長時的期望。
最終，Nutanix 給我們寄來了一套集群，並配備了我們用於共享存儲平台的、業內常用的測試工具，他們甚至直截了當地說：“…你們可以盡情測試。” 然而，Nutanix 一發現他們的 NX-8150 可以與其他硬體/軟體解決方案相媲美，就立即收回了設備，並且除非他們的條件。我對此負有責任。我當時認為，提供更新版本的評測對我們的讀者會更好。可惜的是，事與願違。 Nutanix 現在堅持認為他們的測試方案應該成為超融合架構的標準，考慮到他們的測試方案主要依賴綜合測試工具，而且並不專注於測試叢集效能，這多少有些令人驚訝。
不過，圍繞超融合測試的優點和最佳實踐，這是一場更長時間的辯論，我們很高興有這樣的辯論。 雖然現在，我們不會對 Nutanix 進行審查，但我們將繼續與該領域的許多其他人一起推進，他們對現實世界的應用程序測試和獨立評估持開放態度。
2015年8月8日更新：Nutanix公司的Lukas Lundell已在我們的論壇上發表聲明（點擊此處查看）。該聲明最初包含有關Nutanix NX-8150（已寄送給StorageReview）內部SSD容量的不準確資訊。 Lukas已對此進行了更正。
Amazon