MISE À JOUR du 8 août 2015 : Réponse de Lukas Lundell, directeur mondial des solutions et de l’ingénierie de la performance chez Nutanix, sur nos forums . Cette déclaration contenait des inexactitudes qui ont depuis été corrigées.
StorageReview est le plus grand point de vente indépendant examinant l'informatique d'entreprise depuis de nombreuses années. Pour la première fois, nous devons raconter comment une revue en cours s'est terminée sans être publiée. Il y a eu plusieurs cas où on nous a demandé de ne pas publier d'avis d'un fournisseur auparavant, mais les avis ont toujours été mis en ligne. Cette histoire est cependant très différente, car nous avons rencontré un nouvel ensemble de comportements de Nutanix. Le résumé est celui-ci; Nutanix a envoyé un cluster NX-8150 pour examen, nos tests ont révélé des problèmes de performances, Nutanix a effectué plusieurs mises à jour logicielles sur six mois pour améliorer les performances, en juin, ils ont demandé de mettre à jour notre cluster avec des systèmes basés sur Haswell plus récents, nous avons convenu, Nutanix a ensuite fait marche arrière et refusé d'envoyer les remplaçants promis.
Ce bref historique en soi est un simple fait, mais dans l'intérêt d'une divulgation complète à nos lecteurs, nous pensons qu'il est préférable de fournir tous les détails de ce qui s'est passé. L'histoire est importante pour comprendre non seulement la manière dont Nutanix a fonctionné dans ce cas, mais aussi comment leur attitude pourrait affecter négativement ceux qui naviguent dans le monde de plus en plus encombré et complexe des solutions hyperconvergées. Avant de nous livrer les systèmes, nous avons eu plusieurs conversations sur nos capacités et notre méthodologie de test. Nous avons d'abord déployé le cluster Nutanix NX-8150 le 20 janvier 2015, assistés par un représentant Nutanix sur site.
@BMBeeler @nutanix Un cluster de 4 nœuds vient d'arriver ! pic.twitter.com/KwXzZUAE7u
– Kevin OBrien (@TestLabNut) 8 janvier 2015
Les tests initiaux étaient centrés sur VMmark avec Nutanix OS (NOS) 4.0.2.2. Avec la plupart des exécutions VMmark, nous commençons avec un ensemble de données de milieu de gamme de 10 tuiles pour avoir une idée du comportement du système. Dans ce cas, 10 tuiles ont été tentées plusieurs fois sans obtenir de note de passage. Pour soutenir nos tests, Nutanix a indiqué son intention de répliquer un environnement VMmark et a également suggéré l'utilisation d'un datastore plutôt que de plusieurs. Nutanix a également indiqué que Storage vMotion aurait un impact sur les performances qui pourrait ne pas être observé dans les déploiements clients normaux. L'environnement VMmark finalisé pour l'hyperconvergence en a tiré des conseils et a tiré parti d'un SAN distinct pour le LUN de déploiement unique.
VMmark est une charge de travail d'infrastructure conçue pour tester les performances des ressources de calcul, de stockage et de réseau dans un environnement virtualisé à grande échelle. Elle sollicite fortement le calcul et le stockage via la charge des applications, ainsi que le réseau avec le trafic entre machines virtuelles et les migrations vMotion. Une description détaillée de VMmark et de la composition d'une tuile est disponible ici.
Pour les plates-formes hyperconvergées exécutant ESXi, cela pourrait être considéré comme l'un des meilleurs benchmarks car il met l'accent sur tous les composants du cluster et montre directement à quel point une solution est dense en VM avant que les performances ne commencent à en souffrir. Nutanix n'est pas d'accord avec ce benchmark, affirmant qu'il est lié au CPU/à la mémoire. Malheureusement, Nutanix n'a jamais reproduit sa propre configuration de test VMmark pour voir par lui-même que ce n'est pas le cas.
Fin janvier, le cluster a été mis à niveau vers NOS 4.1.1, avec pour objectif principal l'amélioration des performances. Nous avons effectué des tests avec Sysbench , mais Nutanix a alors exprimé des inquiétudes quant au déploiement optimal sur les systèmes hyperconvergés. Nous avons donc suspendu les tests afin d'intégrer les retours de Nutanix à tous nos profils de tests de bases de données pour systèmes hyperconvergés. Nous avons également décidé d'attendre la prochaine version du logiciel NOS.
En mai, le cluster a été mis à niveau vers NOS 4.1.2. Nutanix a indiqué vouloir refaire les tests de nos tests précédents sur des logiciels antérieurs, ce que nous avons obligé. Encore une fois, quelques tests ont été tentés, mais avec la prise en charge 4.1.3 et ESXi 6.0 à venir, nous avons choisi de suspendre les tests pour permettre à Nutanix de bénéficier de l'hyperviseur plus efficace et d'autres mises à niveau dans ESXi 6.0.
En juin, Nutanix a organisé sa première conférence annuelle, .NEXT. Lors de l'événement, Nutanix a montré des signes qu'il n'était pas à l'aise avec les tests de performance. À ce moment-là, un cluster VMware Virtual SAN était venu au laboratoire pour examen, ce qui a encore rendu Nutanix défensif quant aux tests de performances. Les ingénieurs de performance de Nutanix ont cependant offert de nombreux conseils lors de l'événement ; bon nombre de ces suggestions ont été intégrées à nos meilleures pratiques pour tester les systèmes hyperconvergés.
Plus tard dans le mois, Nutanix a mis à niveau le cluster vers NOS 4.1.3, avec prise en charge d'ESXi 6.0. Les tests Sysbench ont été effectués à nouveau. Cette révision logicielle et notre configuration de test sysbench mise à jour étaient prometteuses ; nous avons pu doubler les performances de Sysbench à 600TPS par nœud, avec un excellent équilibre transactionnel entre chaque nœud. Il y a eu quelques pics de latence, mais ceux-ci n'ont pas semblé avoir d'impact sur le nombre global de transactions du cluster. Les tests avec des applications introduisent des éléments tels que le système de fichiers et la mise en cache de la mémoire système que les tests synthétiques ne montreront pas. Bien qu'il ait contribué à la méthodologie de test Sysbench, Nutanix n'était pas d'accord avec notre processus de test de base de données. Leur solution consiste à déployer une machine virtuelle légère à l'aide de vdbench (générateur de charge de travail synthétique) et de la surveiller pour voir si elle respecte un certain niveau de paramètres de charge de travail définis.
Début juillet, Nutanix nous a demandé de lui renvoyer le cluster NX-8150, en nous précisant qu'ils souhaitaient que nous testions un cluster basé sur Haswell, censé offrir de meilleures performances que le matériel Ivy Bridge . Nous avons accepté, car il était clair que le NX-8150 arrivait en fin de vie. Le ton des discussions a alors rapidement changé. Une fois les NX-8150 sortis du laboratoire de StorageReview, nous sommes revenus à la case départ concernant l'élaboration d'un plan de test. Nutanix nous a demandé d'exécuter leur plan, mais tous les tests qu'ils préconisaient étaient synthétiques et non basés sur des applications. Les ingénieurs de performance de Nutanix devaient impérativement valider les tests avant qu'ils ne puissent aller plus loin. La livraison du nouveau matériel promis pour remplacer les NX-8150 a été suspendue ; Nutanix refusant d'expédier la commande tant qu'un nouveau plan de test n'aurait pas été validé.
Au cours de nos allers-retours de bonne foi sur les tests, Nutanix a suggéré de nous expédier sa propre plate-forme VSAN de moindre qualité et un Nutanix NX-3460-G4 (4x HDD et 2x SSD par nœud). Nous avons refusé d'accepter la configuration bas de gamme et avons hésité à l'idée de tester le système d'un concurrent sans l'approbation ou la participation de ce fournisseur. Encore une fois, nous avons poussé pour aimer les tests avec du matériel comparable, mais nous avons rencontré des obstacles de Nutanix.
Fin juillet, Nutanix a fait la dernière offre de matériel, demandant de nous envoyer le cluster NX-3460-G4 afin que nous puissions revoir l'interface et le logiciel. L'offre indiquait explicitement pour la première fois que si nous acceptions le cluster, nous ne pourrions exécuter aucune charge de travail de performance d'aucune sorte contre lui. Extrait de courriel :
Vous êtes invités à publier des captures d'écran de l'interface Nutanix Prism, bien sûr, pour soutenir l'évaluation de ce qui précède. Nous vous prions de bien vouloir fournir à Nutanix la possibilité d'examiner toutes les descriptions et tous les commentaires du produit Nutanix (matériel et logiciel) 72 heures avant la publication à des fins de vérification des faits. (Nous espérons que cela est cohérent avec votre processus d'examen existant)
Pendant que nous nous efforçons de finaliser le plan de test de performance, nous vous demandons de ne pas effectuer de tests mesurant les performances du produit Nutanix ou les performances de toute application (y compris le logiciel de test) exécutée sur la plate-forme Nutanix. Plus précisément, nous vous demandons de ne pas utiliser d'outils de test développés sur mesure ou commerciaux pour mesurer les performances, y compris, mais sans s'y limiter, Sysbench, VMmark, IOmeter et Open LDAP.
Nous continuerons à travailler avec vous de bonne foi pour développer conjointement un plan de test détaillé (comprenant une méthodologie et des outils de test) pour une évaluation future des performances des produits Nutanix. Jusqu'à ce que nous ayons convenu d'un plan mutuel, nous vous demandons de ne pas entreprendre de tests de performance du produit Nutanix, ni de publier les résultats de tests de performance antérieurs.
Nous avons également choisi de décliner cette offre, car nous pensons que notre crédibilité auprès du lectorat repose sur une histoire complète à raconter, plutôt que sur les faits saillants demandés par un fournisseur. De plus, le plan de test actuellement proposé par Nutanix est parfait pour apprendre le système et caractériser les comportements légers, mais ne montre pas à quoi les clients peuvent s'attendre à mesure que leurs demandes augmentent après le déploiement initial.
Finalement, Nutanix nous a envoyé un cluster prêt à être testé avec des outils standard du secteur que nous utilisons sur les plateformes de stockage partagé, en nous disant littéralement : « Vous pouvez y aller franchement avec les tests. » Dès que Nutanix a réalisé que ses NX-8150 pouvaient être comparés à d'autres solutions matérielles et logicielles, ils ont retiré le matériel et ont refusé d'en expédier de nouveaux sans respecter leurs conditions. J'assume la responsabilité de cette situation. Je pensais qu'une version plus récente du test serait plus pertinente pour nos lecteurs. Malheureusement, cela n'a pas été le cas. Nutanix affirme désormais que son protocole de test devrait être la norme pour les architectures hyperconvergées , ce qui est assez surprenant étant donné que ce protocole repose principalement sur des outils de test synthétiques et ne sollicite pas les performances du cluster.
C'est un débat plus long, que nous sommes heureux d'avoir, autour des mérites et des meilleures pratiques pour les tests hyperconvergés. Pour l'instant cependant, nous n'aurons pas d'examen de Nutanix, mais nous continuons à faire pression avec de nombreux autres dans l'espace qui sont ouverts aux tests d'applications dans le monde réel et à l'évaluation indépendante.
MISE À JOUR du 8 août 2015 : Une déclaration de Lukas Lundell de Nutanix est disponible sur nos forums de discussion ici . Cette déclaration contenait initialement des informations inexactes concernant la capacité du SSD du Nutanix NX-8150 livré à StorageReview. Lukas a depuis corrigé cette erreur.
Amazon