ACTUALIZACIÓN 8 de agosto de 2015: Respuesta de Lukas Lundell, Director Global de Soluciones e Ingeniería de Rendimiento de Nutanix, en nuestros foros . Esta declaración contenía comentarios inexactos que ya han sido corregidos.
StorageReview ha sido el punto de venta más grande que revisa de forma independiente la TI empresarial durante muchos años. Por primera vez tenemos que contar la historia de cómo una revisión en curso llegó a su fin sin ser publicada. Ha habido varios casos en los que un proveedor nos pidió que no publiquemos una reseña antes, pero las reseñas siempre se publicaron. Sin embargo, esta historia es significativamente diferente, ya que encontramos un nuevo conjunto de comportamientos de Nutanix. El resumen es este; Nutanix envió un clúster NX-8150 para su revisión, nuestras pruebas revelaron problemas de rendimiento, Nutanix realizó varias actualizaciones de software durante seis meses para mejorar el rendimiento, en junio pidieron actualizar nuestro clúster con sistemas más nuevos basados en Haswell, acordamos, Nutanix dio marcha atrás y se negó a enviar los reemplazos prometidos.
Esa breve historia en sí misma es un hecho simple, pero en aras de la divulgación completa a nuestros lectores, creemos que es mejor brindar todos los detalles de lo que sucedió. La historia es importante para comprender no solo la forma en que Nutanix operó en este caso, sino también cómo su actitud podría afectar negativamente a quienes navegan en el mundo cada vez más concurrido y complejo de las soluciones hiperconvergentes. Antes de entregarnos los sistemas, tuvimos varias conversaciones sobre nuestras capacidades y metodología de prueba. Implementamos por primera vez el clúster Nutanix NX-8150 el 20 de enero de 2015, con la asistencia de un representante de Nutanix en el sitio.
@BMBeeler @nutanix ¡Acaba de llegar el clúster de 4 nodos! pic.twitter.com/KwXzZUAE7u
- Kevin OBrien (@TestLabNut) 8 de enero de 2015
Las pruebas iniciales se centraron en VMmark con Nutanix OS (NOS) 4.0.2.2. Con la mayoría de las ejecuciones de VMmark, comenzamos con un conjunto de datos de rango medio de 10 mosaicos para tener una idea del comportamiento del sistema. En este caso, se intentaron 10 fichas varias veces sin obtener una puntuación de aprobación. Para respaldar nuestras pruebas, Nutanix indicó la intención de replicar un entorno VMmark y también sugirió el uso de un almacén de datos frente a muchos. Nutanix también indicó que Storage vMotion tendría un impacto en el rendimiento que podría no verse en las implementaciones normales de los clientes. El entorno de VMmark finalizado para hiperconvergente tomó sugerencias de esto y aprovechó una SAN independiente para el único LUN de implementación.
VMmark es una carga de trabajo de infraestructura diseñada para evaluar el rendimiento de los recursos de computación, almacenamiento y red en un entorno virtualizado a gran escala. Somete a prueba la computación y el almacenamiento mediante la carga de aplicaciones, así como la red con tráfico entre máquinas virtuales y actividades de vMotion. Puede consultar un análisis detallado de VMmark y de los componentes de un mosaico aquí.
Para las plataformas hiperconvergentes que ejecutan ESXi, esto podría considerarse uno de los mejores puntos de referencia, ya que enfatiza todos los componentes del clúster y muestra directamente qué tan densa es una solución de VM antes de que el rendimiento comience a verse afectado. Nutanix no está de acuerdo con este punto de referencia que afirma que está vinculado a la CPU/memoria. Desafortunadamente, sin embargo, Nutanix nunca replicó su propia configuración de prueba de VMmark para ver por sí mismos que este no es el caso.
A finales de enero, el clúster se actualizó a NOS 4.1.1, con la mejora del rendimiento como uno de los resultados esperados. Intentamos realizar pruebas con Sysbench , momento en el que Nutanix expresó su preocupación por la correcta implementación en sistemas hiperconvergentes. Interrumpimos las pruebas para integrar los comentarios de Nutanix en todos nuestros perfiles de prueba de bases de datos para sistemas hiperconvergentes. También decidimos esperar a una nueva revisión del software NOS que estaba prevista.
En mayo, el clúster se actualizó a NOS 4.1.2. Nutanix indicó el deseo de rehacer las pruebas de nuestras pruebas anteriores en el software anterior, lo cual agradecimos. Nuevamente, se intentaron algunas pruebas, pero con la compatibilidad con 4.1.3 y ESXi 6.0 en breve, optamos por pausar las pruebas para permitir que Nutanix tenga los beneficios del hipervisor más eficiente y otras actualizaciones en ESXi 6.0.
En junio, Nutanix celebró su primera conferencia anual, .NEXT. En el evento, Nutanix mostró signos de que no se sentían cómodos con las pruebas de rendimiento. En ese momento, un clúster de VMware Virtual SAN había llegado al laboratorio para su revisión, lo que hizo que Nutanix se pusiera más a la defensiva con respecto a las pruebas de rendimiento. Sin embargo, los ingenieros de rendimiento de Nutanix ofrecieron amplios consejos en el evento; muchas de esas sugerencias se incluyeron en nuestras mejores prácticas para probar sistemas hiperconvergentes.
Más adelante en el mes, Nutanix actualizó el clúster a NOS 4.1.3, con soporte para ESXi 6.0. La prueba de Sysbench se realizó de nuevo. Esta revisión de software y nuestra configuración de prueba de sysbench actualizada fue prometedora; Pudimos duplicar el rendimiento de Sysbench a 600 TPS por nodo, con un excelente equilibrio transaccional entre cada nodo. Hubo algunos picos de latencia, pero no parecieron afectar el recuento general de transacciones del clúster. Las pruebas con aplicaciones introducen elementos como el sistema de archivos y el almacenamiento en caché de la memoria del sistema que las pruebas sintéticas no mostrarán. A pesar de contribuir a la metodología de prueba de Sysbench, Nutanix no estuvo de acuerdo con nuestro proceso de prueba de la base de datos. Su solución es implementar una máquina virtual liviana usando vdbench (generador de carga de trabajo sintético) y monitorearla para ver si cumpliría con algún nivel de parámetros de carga de trabajo definidos.
Al comenzar julio, Nutanix nos pidió que devolviéramos el clúster NX-8150 con la indicación de que les gustaría que analizáramos un clúster basado en Haswell, que según ellos ofrecería un rendimiento superior al del hardware basado en Ivy Bridge . Aceptamos la oferta, ya que era evidente que el NX-8150 estaba llegando al final de su ciclo de ventas. El tono de las conversaciones cambió rápidamente en ese momento. Una vez que los NX-8150 salieron del laboratorio de StorageReview, todas las discusiones volvieron al punto de partida para crear un plan de pruebas. Nutanix nos pidió que ejecutáramos su plan de pruebas; sin embargo, todas las pruebas que describían eran sintéticas en lugar de basadas en aplicaciones. Los ingenieros de rendimiento de Nutanix debían "definir" las pruebas antes de que pudieran seguir adelante. El nuevo equipo prometido para reemplazar los NX-8150 quedó en suspenso; Nutanix se negó a realizar el envío hasta que se acordara un nuevo plan de pruebas.
Durante nuestras pruebas de buena fe, Nutanix sugirió enviarnos su propia plataforma VSAN de menor especificación y un Nutanix NX-3460-G4 (4 HDD y 2 SSD por nodo). Nos negamos a aceptar la configuración de gama baja y rechazamos la idea de probar el sistema de un competidor sin la aprobación o participación de ese proveedor. Una vez más, presionamos para realizar pruebas similares con hardware comparable, pero nos encontramos con obstáculos de Nutanix.
A fines de julio, Nutanix hizo la última oferta de hardware, solicitando que nos enviaran el clúster NX-3460-G4 para que podamos revisar la interfaz y el software. La oferta establecía explícitamente por primera vez que si aceptábamos el clúster, no podíamos ejecutar ninguna carga de trabajo de rendimiento de ningún tipo en su contra. Extracto de correo electrónico:
Le invitamos a publicar capturas de pantalla de la interfaz de Nutanix Prism, por supuesto, para respaldar la evaluación de lo anterior. Le pedimos amablemente que brinde a Nutanix la oportunidad de revisar todas las descripciones y comentarios del producto Nutanix (hardware y software) 72 horas antes de la publicación con fines de verificación de hechos. (Esperamos que esto sea consistente con su proceso de revisión existente)
Mientras trabajamos para finalizar el plan de prueba de rendimiento, le pedimos que no realice ninguna prueba que mida el rendimiento del producto Nutanix o el rendimiento de cualquier aplicación (incluido el software de prueba) que se ejecuta en la plataforma Nutanix. Específicamente, le pedimos que no utilice ninguna herramienta de prueba comercial o desarrollada a medida para medir el rendimiento, incluidos, entre otros, Sysbench, VMmark, IOmeter y Open LDAP.
Continuaremos trabajando con usted de buena fe para desarrollar conjuntamente un plan de prueba detallado (que incluya metodología y herramientas de prueba) para la evaluación futura del rendimiento del producto Nutanix. Hasta que tengamos un plan acordado mutuamente, le pedimos que no realice ninguna prueba de rendimiento del producto Nutanix ni publique los resultados de pruebas de rendimiento anteriores.
También optamos por rechazar esta oferta, ya que creemos que nuestra credibilidad con los lectores se basa en contar una historia completa, en lugar de solo los aspectos más destacados que solicita un proveedor. Además, el plan de prueba propuesto actualmente por Nutanix está bien para aprender el sistema y caracterizar los comportamientos ligeros, pero no muestra lo que los clientes pueden esperar a medida que crecen sus demandas después de la implementación inicial.
Finalmente, Nutanix nos envió un clúster listo para probar con herramientas estándar de la industria que utilizamos en plataformas de almacenamiento compartido, diciéndonos literalmente: «…pueden hacer las pruebas que quieran». Tan pronto como Nutanix descubrió que sus NX-8150 podían compararse con otras soluciones de hardware y software, retiraron el equipo y se negaron a enviar nuevos dispositivos a menos que fuera bajo sus condiciones. Asumo la responsabilidad por haber permitido que esto sucediera. Pensé que ofrecer una versión más reciente de la reseña sería mejor para nuestros lectores. Lamentablemente, no fue así. Nutanix ahora sostiene que su plan de pruebas debería ser el estándar hiperconvergente , lo cual resulta algo sorprendente dado que su plan de pruebas utiliza principalmente herramientas de pruebas sintéticas y no pone a prueba el rendimiento del clúster.
Sin embargo, ese es un debate más largo, que nos complace tener, en torno a los méritos y las mejores prácticas para las pruebas hiperconvergentes. Sin embargo, por ahora no tendremos una revisión de Nutanix, pero continuamos avanzando con muchos otros en el espacio que están abiertos a pruebas de aplicaciones del mundo real y evaluaciones independientes.
ACTUALIZACIÓN 8 de agosto de 2015: Puede consultar una declaración de Lukas Lundell de Nutanix en nuestros foros de discusión aquí . Esta declaración contenía información inexacta sobre la capacidad de la unidad SSD del Nutanix NX-8150 enviado a StorageReview. Lukas ya ha corregido dicho comentario.
Amazon