UPDATE 8. August 2015: Antwort von Lukas Lundell, Global Director of Solutions and Performance Engineering bei Nutanix, in unserem Forum . Diese Stellungnahme enthielt ungenaue Angaben, die inzwischen korrigiert wurden.
StorageReview ist seit vielen Jahren der größte unabhängige Anbieter von Unternehmens-IT-Bewertungen. Zum ersten Mal müssen wir die Geschichte erzählen, wie eine laufende Rezension zu Ende ging, ohne veröffentlicht zu werden. Es gab mehrere Fälle, in denen wir zuvor von einem Anbieter gebeten wurden, keine Bewertung zu veröffentlichen, die Bewertungen wurden jedoch immer online gestellt. Diese Geschichte unterscheidet sich jedoch erheblich, da wir auf eine Reihe neuer Verhaltensweisen von Nutanix gestoßen sind. Die Zusammenfassung ist diese; Nutanix schickte einen NX-8150-Cluster zur Überprüfung, unsere Tests ergaben Leistungsprobleme, Nutanix führte innerhalb von sechs Monaten mehrere Software-Updates durch, um die Leistung zu verbessern, im Juni baten sie darum, unseren Cluster mit neueren Haswell-basierten Systemen zu aktualisieren, wir stimmten zu, Nutanix machte dann einen Rückzieher und weigerte sich, den versprochenen Ersatz zu versenden.
Diese kurze Geschichte allein ist eine einfache Tatsache, aber im Interesse einer vollständigen Offenlegung für unsere Leser halten wir es für das Beste, alle Einzelheiten darüber anzugeben, was passiert ist. Die Geschichte ist nicht nur wichtig, um zu verstehen, wie Nutanix in diesem Fall vorgegangen ist, sondern auch, wie sich ihre Haltung nachteilig auf diejenigen auswirken könnte, die sich in der zunehmend überfüllten und komplexen Welt der hyperkonvergenten Lösungen zurechtfinden. Bevor wir die Systeme an uns lieferten, führten wir mehrere Gespräche über unsere Testfähigkeiten und -methodik. Wir haben den Nutanix NX-8150-Cluster erstmals am 20. Januar 2015 bereitgestellt, unterstützt von einem Nutanix-Vertreter vor Ort.
@BMBeeler @nutanix 4-Knoten-Cluster ist gerade angekommen! pic.twitter.com/KwXzZUAE7u
— Kevin OBrien (@TestLabNut) 8. Januar 2015
Die ersten Tests konzentrierten sich auf VMmark mit Nutanix OS (NOS) 4.0.2.2. Bei den meisten VMmark-Läufen beginnen wir mit einem mittleren Datensatz aus 10 Kacheln, um ein Gefühl für das Systemverhalten zu bekommen. In diesem Fall wurden 10 Steine mehrmals versucht, ohne dass eine bestandene Punktzahl erreicht wurde. Um unsere Tests zu unterstützen, gab Nutanix die Absicht bekannt, eine VMmark-Umgebung zu replizieren, und schlug außerdem die Verwendung eines Datenspeichers statt mehrerer vor. Nutanix gab außerdem an, dass Storage vMotion einen Leistungseinbruch erleiden würde, der bei normalen Kundenbereitstellungen möglicherweise nicht auftritt. Die finalisierte VMmark-Umgebung für Hyperkonvergenz nutzte daraus Tipps und nutzte ein separates SAN für die einzelne Deploy-LUN.
VMmark ist ein Infrastruktur-Workload, der die Leistungsfähigkeit von Rechen-, Speicher- und Netzwerkressourcen in einer virtualisierten Umgebung im großen Maßstab testet. Er belastet Rechen- und Speicherkapazität durch die Last von Anwendungen sowie die Netzwerkauslastung durch VM-zu-VM-Datenverkehr und vMotion-Aktivitäten. Eine detaillierte Beschreibung von VMmark und der einzelnen Tiles finden Sie hier.
Für hyperkonvergente Plattformen, auf denen ESXi ausgeführt wird, könnte dies als einer der besten Benchmarks angesehen werden, da er alle Komponenten des Clusters belastet und direkt zeigt, wie VM-dicht eine Lösung ist, bevor die Leistung zu leiden beginnt. Nutanix ist mit diesem Benchmark nicht einverstanden und behauptet, er sei CPU-/speichergebunden. Leider hat Nutanix jedoch nie sein eigenes VMmark-Testsetup repliziert, um sich selbst davon zu überzeugen, dass dies nicht der Fall ist.
Ende Januar wurde der Cluster auf NOS 4.1.1 aktualisiert, mit dem Ziel einer Leistungsverbesserung. Wir führten Tests mit Sysbench durch , woraufhin Nutanix Bedenken hinsichtlich der korrekten Implementierung für hyperkonvergente Systeme äußerte. Wir unterbrachen die Tests daraufhin, um das Feedback von Nutanix in unsere Datenbank-Testprofile für hyperkonvergente Systeme zu integrieren. Zudem beschlossen wir, die bevorstehende Veröffentlichung einer neuen NOS-Softwareversion abzuwarten.
Im Mai wurde der Cluster auf NOS 4.1.2 aktualisiert. Nutanix hat den Wunsch geäußert, die Tests unserer früheren Tests für frühere Software zu wiederholen, was wir getan haben. Es wurden erneut einige Tests versucht, aber da die Unterstützung für 4.1.3 und ESXi 6.0 in Kürze verfügbar sein wird, haben wir uns entschieden, die Tests zu unterbrechen, damit Nutanix die Vorteile des effizienteren Hypervisors und anderer Upgrades in ESXi 6.0 nutzen kann.
Im Juni veranstaltete Nutanix seine erste Jahreskonferenz, .NEXT. Bei der Veranstaltung zeigte Nutanix Anzeichen dafür, dass ihnen Leistungstests unangenehm waren. Zu diesem Zeitpunkt war ein VMware Virtual SAN-Cluster zur Überprüfung ins Labor gekommen, was Nutanix bei Leistungstests zusätzlich zurückhaltend machte. Performance-Ingenieure von Nutanix boten bei der Veranstaltung jedoch umfassende Beratung an; Viele dieser Vorschläge flossen in unsere Best Practices zum Testen hyperkonvergenter Systeme ein.
Später im Monat aktualisierte Nutanix den Cluster auf NOS 4.1.3 mit Unterstützung für ESXi 6.0. Es wurden erneut Sysbench-Tests durchgeführt. Diese Softwarerevision und unsere aktualisierte Sysbench-Testkonfiguration waren vielversprechend; Wir konnten die Sysbench-Leistung auf 600 TPS pro Knoten verdoppeln, bei hervorragender Transaktionsbalance zwischen den einzelnen Knoten. Es gab einige Latenzspitzen, die jedoch offenbar keinen Einfluss auf die Gesamtzahl der Cluster-Transaktionen hatten. Beim Testen mit Anwendungen werden Elemente wie Dateisystem- und Systemspeicher-Caching eingeführt, die bei synthetischen Tests nicht angezeigt werden. Obwohl Nutanix an der Sysbench-Testmethodik mitgewirkt hat, war er mit unserem Datenbanktestprozess nicht einverstanden. Ihre Lösung besteht darin, eine leichtgewichtige VM mithilfe von vdbench (synthetischer Workload-Generator) bereitzustellen und diese zu überwachen, um zu sehen, ob sie bestimmte definierte Workload-Parameter erfüllen würde.
Anfang Juli bat uns Nutanix, den NX-8150-Cluster zurückzusenden, mit der Begründung, wir sollten stattdessen einen Haswell-basierten Cluster testen, der laut Nutanix eine höhere Leistung als die Ivy-Bridge-basierte Hardware bieten würde . Wir nahmen das Angebot an, da der NX-8150 sich dem Ende seines Verkaufszeitraums näherte. Die Gespräche verliefen daraufhin turbulent. Nachdem die NX-8150-Cluster das StorageReview-Labor verlassen hatten, begannen alle Diskussionen wieder von vorn mit der Erstellung eines Testplans. Nutanix verlangte, dass wir ihren Testplan umsetzen, allerdings waren alle von Nutanix vorgegebenen Tests synthetisch und nicht anwendungsbasiert. Die Performance-Ingenieure von Nutanix mussten die Tests erst detailliert festlegen, bevor es weitergehen konnte. Die Lieferung der versprochenen neuen Hardware als Ersatz für die NX-8150-Cluster wurde auf Eis gelegt; Nutanix weigerte sich, diese auszuliefern, bis ein neuer Testplan vereinbart war.
Während unseres guten Gewissens beim Testen schlug Nutanix vor, uns eine eigene VSAN-Plattform mit niedrigeren Spezifikationen und einen Nutanix NX-3460-G4 (4x HDD und 2x SSD pro Knoten) zu liefern. Wir weigerten uns, die Low-End-Konfiguration zu akzeptieren und sträubten uns gegen die Idee, das System eines Mitbewerbers ohne die Zustimmung oder Beteiligung dieses Anbieters zu testen. Auch hier drängten wir auf Like-to-Likes-Tests mit vergleichbarer Hardware, stießen jedoch auf Hindernisse seitens Nutanix.
Ende Juli machte Nutanix das letzte Angebot an Hardware und bat darum, uns den NX-3460-G4-Cluster zuzusenden, damit wir die Schnittstelle und Software überprüfen können. Im Angebot hieß es zum ersten Mal ausdrücklich, dass wir bei Annahme des Clusters keine Performance-Workloads jeglicher Art dafür ausführen könnten. E-Mail-Auszug:
Sie können natürlich gerne Screenshots der Nutanix Prism-Schnittstelle veröffentlichen, um die Bewertung des oben Gesagten zu unterstützen. Wir bitten Sie, Nutanix die Möglichkeit zu geben, alle Beschreibungen und Kommentare zu Nutanix-Produkten (Hardware und Software) 72 Stunden vor der Veröffentlichung zum Zweck der Faktenprüfung durchzusehen. (Wir hoffen, dass dies mit Ihrem bestehenden Überprüfungsprozess übereinstimmt)
Während wir an der Fertigstellung des Leistungstestplans arbeiten, bitten wir Sie, keine Tests durchzuführen, die die Leistung des Nutanix-Produkts oder die Leistung einer Anwendung (einschließlich Testsoftware) messen, die auf der Nutanix-Plattform ausgeführt wird. Insbesondere bitten wir Sie, keine speziell entwickelten oder kommerziellen Testtools zur Leistungsmessung zu verwenden, einschließlich, aber nicht beschränkt auf, Sysbench, VMmark, IOmeter und Open LDAP.
Wir werden weiterhin in gutem Glauben mit Ihnen zusammenarbeiten, um gemeinsam einen detaillierten Testplan (einschließlich Methodik und Testtools) für die zukünftige Bewertung der Produktleistung von Nutanix zu entwickeln. Bis wir einen gemeinsam vereinbarten Plan haben, bitten wir Sie, keine Leistungstests des Nutanix-Produkts durchzuführen oder Ergebnisse früherer Leistungstests zu veröffentlichen.
Wir haben uns entschieden, dieses Angebot ebenfalls abzulehnen, da wir glauben, dass unsere Glaubwürdigkeit bei der Leserschaft davon abhängt, dass eine vollständige Geschichte erzählt wird, und nicht nur von den Highlights, die ein Anbieter verlangt. Darüber hinaus eignet sich der derzeit von Nutanix vorgeschlagene Testplan gut zum Erlernen des Systems und zur Charakterisierung von leichtgewichtigem Verhalten, zeigt jedoch nicht, was Kunden erwarten können, wenn ihre Anforderungen nach der ersten Bereitstellung steigen.
Letztendlich schickte uns Nutanix einen Cluster, den wir mit den gängigen Branchenwerkzeugen testen konnten, die wir auch auf gemeinsam genutzten Speicherplattformen einsetzen, und sagte ganz klar: „…Sie können nach Herzenslust testen.“ Sobald Nutanix jedoch erfuhr, dass ihre NX-8150-Cluster mit anderen Hardware-/Softwarelösungen verglichen werden konnten, zogen sie die Geräte zurück und weigerten sich, neue zu liefern, solange die Bedingungen nicht ihren entsprachen. Ich übernehme die Verantwortung dafür, dass es dazu kommen konnte. Ich dachte, eine aktualisierte Version des Testberichts wäre für unsere Leserschaft von Vorteil. Leider kam es nicht dazu. Nutanix vertritt nun den Standpunkt, dass ihr Testplan der Standard für hyperkonvergente Systeme sein sollte , was etwas überraschend ist, da ihr Testplan hauptsächlich auf synthetischen Testwerkzeugen basiert und die Clusterleistung nicht ausreichend berücksichtigt.
Das ist jedoch eine längere Debatte über die Vorzüge und Best Practices für hyperkonvergentes Testen, über die wir uns freuen. Vorerst werden wir zwar keine Nutanix-Rezension veröffentlichen, aber wir arbeiten weiterhin mit vielen anderen in diesem Bereich zusammen, die offen für reale Anwendungstests und unabhängige Bewertungen sind.
UPDATE 8. August 2015: Eine Stellungnahme von Lukas Lundell von Nutanix finden Sie hier in unserem Diskussionsforum . Diese Stellungnahme enthielt ursprünglich ungenaue Angaben zur SSD-Kapazität des an StorageReview gelieferten Nutanix NX-8150. Lukas hat diese Angabe inzwischen korrigiert.
Amazon