UPDATE 8 augustus 2015: Reactie van Lukas Lundell, Global Director of Solutions and Performance Engineering bij Nutanix, in onze forums . Deze verklaring bevatte onjuiste opmerkingen die inmiddels zijn gecorrigeerd.
StorageReview is al jaren de grootste onafhankelijke reviewer van bedrijfs-IT. Voor de eerste keer moeten we het verhaal vertellen van hoe een lopende recensie tot een einde kwam zonder te worden gepubliceerd. Er zijn verschillende gevallen geweest waarin ons eerder werd gevraagd om geen beoordeling door een leverancier te plaatsen, maar de beoordelingen gingen altijd live. Dit verhaal is echter aanzienlijk anders, omdat we een nieuwe reeks gedragingen van Nutanix tegenkwamen. De samenvatting is dit; Nutanix stuurde een NX-8150-cluster ter beoordeling, onze tests brachten prestatieproblemen aan het licht, Nutanix voerde gedurende zes maanden verschillende software-updates uit om de prestaties te verbeteren, in juni vroegen ze om ons cluster bij te werken met nieuwere Haswell-gebaseerde systemen, we stemden ermee in, Nutanix kwam toen terug en weigerde de beloofde vervangingen te sturen.
Die korte geschiedenis op zichzelf is een eenvoudig feit, maar in het belang van volledige openbaarmaking aan onze lezers, denken we dat het het beste is om de volledige details te geven van wat er is gebeurd. De geschiedenis is belangrijk om niet alleen te begrijpen hoe Nutanix in dit geval te werk ging, maar ook hoe hun houding een negatieve invloed zou kunnen hebben op degenen die navigeren in de steeds drukkere en complexere wereld van hypergeconvergeerde oplossingen. Voordat we de systemen aan ons leverden, hadden we meerdere gesprekken over onze testmogelijkheden en methodologie. We hebben de Nutanix NX-8150-cluster voor het eerst geïmplementeerd op 20 januari 2015, bijgestaan door een Nutanix-vertegenwoordiger ter plaatse.
@BMBeeler @nutanix 4-node cluster zojuist gearriveerd! pic.twitter.com/KwXzZUAE7u
— Kevin OBrien (@TestLabNut) 8 januari 2015
Eerste tests gericht op VMmark met Nutanix OS (NOS) 4.0.2.2. Bij de meeste VMmark-runs beginnen we met een midrange dataset van 10 tegels om een idee te krijgen van het gedrag van het systeem. In dit geval werden 10 tegels meerdere keren geprobeerd zonder een voldoende score te behalen. Om onze tests te ondersteunen, gaf Nutanix de intentie aan om een VMmark-omgeving te repliceren en stelde ook voor om één datastore te gebruiken in plaats van vele. Nutanix gaf ook aan dat Storage vMotion een prestatiehit zou hebben die misschien niet te zien is bij normale klantimplementaties. De voltooide VMmark-omgeving voor hyperconverged nam hieruit tips en maakte gebruik van een apart SAN voor de enkele Deploy LUN.
VMmark is een infrastructuurworkload die is ontworpen om te testen hoe reken-, opslag- en netwerkbronnen presteren in een gevirtualiseerde omgeving op grote schaal. Het belast reken- en opslagbronnen door de belasting van applicaties, evenals het netwerk met VM-naar-VM-verkeer en vMotion-activiteiten. Een gedetailleerde uitleg van VMmark en wat een tile precies inhoudt, is hier beschikbaar.
Voor hypergeconvergeerde platforms met ESXi zou dit als een van de beste benchmarks kunnen worden beschouwd, omdat het alle componenten van het cluster benadrukt en direct laat zien hoe VM-dicht een oplossing is voordat de prestaties eronder gaan lijden. Nutanix is het niet eens met deze benchmark en beweert dat deze gebonden is aan CPU/geheugen. Helaas heeft Nutanix nooit hun eigen VMmark-testopstelling gerepliceerd om zelf te zien dat dit niet het geval is.
Eind januari werd het cluster geüpgraded naar NOS 4.1.1, met als belangrijkste resultaat verbeterde prestaties. We probeerden te testen met Sysbench , waarna Nutanix zijn zorgen uitte over een correcte implementatie voor hyperconverged systemen. We hebben de tests daarom tijdelijk stopgezet om de feedback van Nutanix te verwerken in al onze testprofielen voor hyperconverged systemen. We hebben ook besloten te wachten op een nieuwe NOS-softwareversie die eraan zat te komen.
In mei is het cluster geüpgraded naar NOS 4.1.2. Nutanix gaf de wens aan om het testen van onze eerdere tests op eerdere software opnieuw uit te voeren, wat we verplicht waren. Er werden opnieuw een paar tests geprobeerd, maar met de komst van 4.1.3 en ESXi 6.0-ondersteuning hebben we ervoor gekozen om het testen te onderbreken om Nutanix de voordelen te bieden van de efficiëntere hypervisor en andere upgrades in ESXi 6.0.
In juni hield Nutanix hun eerste jaarlijkse conferentie, .NEXT. Tijdens het evenement liet Nutanix tekenen zien dat ze zich niet op hun gemak voelden bij prestatietests. Tegen die tijd was er een VMware Virtual SAN-cluster in het lab gekomen voor beoordeling, wat Nutanix verder defensief maakte over prestatietests. Wel gaven performance engineers van Nutanix uitgebreid advies op het evenement; veel van die suggesties zijn opgenomen in onze best practices voor het testen van hypergeconvergeerde systemen.
Later in de maand heeft Nutanix het cluster geüpgraded naar NOS 4.1.3, met ondersteuning voor ESXi 6.0. Sysbench-testen werden opnieuw uitgevoerd. Deze softwarerevisie en onze bijgewerkte sysbench-testconfiguratie waren veelbelovend; we waren in staat om de Sysbench-prestaties te verdubbelen tot 600TPS per knooppunt, met een uitstekende transactiebalans tussen elk knooppunt. Er waren enkele latentiepieken, maar die leken geen invloed te hebben op het totale aantal clustertransacties. Testen met applicaties introduceert elementen zoals bestandssysteem- en systeemgeheugencaching die synthetische tests niet laten zien. Ondanks dat Nutanix een bijdrage leverde aan de testmethodologie van Sysbench, was het het niet eens met ons databasetestproces. Hun oplossing is om een lichtgewicht VM te implementeren met behulp van vdbench (synthetic workload generator) en deze te monitoren om te zien of deze zou voldoen aan een bepaald niveau van gedefinieerde workloadparameters.
Toen we juli ingingen, vroeg Nutanix ons om het NX-8150-cluster terug te sturen met de suggestie dat we een Haswell-cluster zouden testen, dat volgens hen betere prestaties zou leveren dan de Ivy Bridge-hardware . We accepteerden het aanbod, omdat het duidelijk was dat de NX-8150 het einde van zijn verkoopperiode naderde. De toon van de gesprekken sloeg echter snel om. Nadat de NX-8150's het StorageReview-lab hadden verlaten, moesten we helemaal opnieuw beginnen met het opstellen van een testplan. Nutanix vroeg ons om hun testplan uit te voeren, maar alle tests die Nutanix voorstelde, waren synthetisch in plaats van applicatiegericht. De tests moesten eerst worden goedgekeurd door de performance engineers van Nutanix voordat ze verder konden gaan. De beloofde nieuwe apparatuur ter vervanging van de NX-8150's werd in de wacht gezet; Nutanix weigerde te leveren totdat er overeenstemming was bereikt over een nieuw testplan.
Tijdens onze goede trouw heen en weer tijdens het testen, stelde Nutanix voor om ons hun eigen VSAN-platform met lagere specificaties en een Nutanix NX-3460-G4 (4x HDD en 2x SSD per node) te sturen. We weigerden de low-end configuratie te accepteren en zagen af van het idee om het systeem van een concurrent te testen zonder de goedkeuring of betrokkenheid van die leverancier. Opnieuw hebben we aangedrongen op like-to-like-testen met vergelijkbare hardware, maar we stuitten op obstakels van Nutanix.
Eind juli deed Nutanix het laatste aanbod van hardware, met het verzoek ons de NX-3460-G4-cluster op te sturen zodat we de interface en software kunnen beoordelen. Het aanbod vermeldde voor het eerst expliciet dat als we het cluster zouden accepteren, we er geen enkele prestatiebelasting op zouden kunnen uitvoeren. E-mail uittreksel:
U bent natuurlijk welkom om schermafbeeldingen van de Nutanix Prism-interface te publiceren om de evaluatie van het bovenstaande te ondersteunen. We vragen u vriendelijk om Nutanix de gelegenheid te geven om alle beschrijvingen en commentaar van het Nutanix-product (hardware en software) 72 uur voorafgaand aan publicatie te bekijken voor factcheckdoeleinden. (We hopen dat dit in overeenstemming is met uw bestaande beoordelingsproces)
Terwijl we werken aan het finaliseren van het prestatietestplan, vragen we u geen tests uit te voeren die de prestaties van het Nutanix-product of de prestaties van een applicatie (inclusief testsoftware) die op het Nutanix-platform draait, meten. We vragen u met name om geen op maat ontwikkelde of commerciële testtools te gebruiken om de prestaties te meten, inclusief maar niet beperkt tot Sysbench, VMmark, IOmeter en Open LDAP.
We zullen te goeder trouw met u blijven samenwerken om gezamenlijk een gedetailleerd testplan (inclusief methodologie en testtools) te ontwikkelen voor toekomstige evaluatie van de prestaties van Nutanix-producten. Totdat we een onderling overeengekomen plan hebben, vragen we u geen prestatietests van het Nutanix-product uit te voeren of resultaten van eerdere prestatietests te publiceren.
We hebben ervoor gekozen om ook dit aanbod af te wijzen, omdat we geloven dat onze geloofwaardigheid bij het lezerspubliek afhangt van een compleet verhaal dat verteld moet worden, in plaats van alleen de hoogtepunten die een leverancier vraagt. Verder is het testplan dat momenteel door Nutanix wordt voorgesteld prima om het systeem te leren kennen en lichtgewichtgedrag te karakteriseren, maar het laat niet zien wat klanten kunnen verwachten naarmate hun eisen na de eerste implementatie toenemen.
Uiteindelijk stuurde Nutanix ons een cluster dat klaar was om te testen met bekende industriële tools die we gebruiken op gedeelde opslagplatformen, met de letterlijke mededeling: "...je kunt helemaal losgaan met testen." Zodra Nutanix erachter kwam dat hun NX-8150's vergeleken konden worden met andere hardware/software-oplossingen, trokken ze de apparatuur terug en weigerden ze nieuwe apparatuur te leveren tenzij het onder hun voorwaarden gebeurde. Ik neem de schuld op me voor het feit dat dit is gebeurd. Ik dacht dat het beter zou zijn voor onze lezers om een nieuwere versie van de review aan te bieden. Helaas is dat niet gebeurd. Nutanix beweert nu dat hun testplan de hyperconverged standaard zou moeten zijn , wat enigszins verrassend is gezien het feit dat hun testplan voornamelijk gebruikmaakt van synthetische testtools en de clusterprestaties niet zwaar belast.
Dat is echter een langer debat, dat we graag hebben, over de verdiensten en best practices voor hypergeconvergeerd testen. Voorlopig hebben we echter geen Nutanix-recensie, maar we blijven doorgaan met vele anderen in de ruimte die openstaan voor het testen van toepassingen in de echte wereld en onafhankelijke evaluatie.
UPDATE 8 augustus 2015: Een verklaring van Lukas Lundell van Nutanix is te vinden in onze discussieforums hier . Deze verklaring bevatte oorspronkelijk onjuiste informatie over de SSD-capaciteit van de Nutanix NX-8150 die naar StorageReview was verzonden. Lukas heeft die opmerking inmiddels gecorrigeerd.
Amazon