Revisión de las unidades Dell PowerEdge Direct vs PERC 12

Al publicar nuestra revisión de la Dell PowerEdge R760 servidor, deliberadamente retrasamos los números de almacenamiento, señalando que el R760 tiene muchas opciones de configuración de almacenamiento que habrían hecho que la revisión inicial fuera demasiado larga. En esta revisión, profundizamos en las opciones de almacenamiento compatibles con Dell PowerEdge para SSD Gen4 NVMe y el perfil de rendimiento de lo que Dell llama Direct Drives frente a la tarjeta RAID de hardware PERC 12.

Al publicar nuestra revisión de la Dell PowerEdge R760 servidor, deliberadamente retrasamos los números de almacenamiento, señalando que el R760 tiene muchas opciones de configuración de almacenamiento que habrían hecho que la revisión inicial fuera demasiado larga. En esta revisión, profundizamos en las opciones de almacenamiento compatibles con Dell PowerEdge para SSD Gen4 NVMe y el perfil de rendimiento de lo que Dell llama Direct Drives frente a la tarjeta RAID de hardware PERC 12.

Opciones de plano posterior Dell PowerEdge NVMe

Dell ofrece varios backplanes de almacenamiento en sus servidores PowerEdge 16G. Al configurar el R760, hay casi 50 opciones de chasis de unidades. Si bien parte de esto es soporte heredado (PERC 11, por ejemplo), el punto es que la decisión del chasis es importante. Esto ni siquiera tiene en cuenta la próxima compatibilidad con SSD NVMe E3.S, que es la única forma de obtener SSD Gen5 en servidores PowerEdge. Mirábamos E3.S en Dell PowerEdge R660 si desea obtener más información sobre los beneficios de los factores de forma Gen5 y EDSFF.

De vuelta a la tarea en cuestión. Para esta revisión, queremos comprender las implicaciones de seleccionar la opción Direct Drives de Dell en comparación con la opción de tarjeta PERC 12 HWRAID. Como se mencionó, el enfoque explícito aquí es solo en consideración de los SSD Gen4 U.2/U.3 NVMe. Por ahora, ignoramos las opciones de chasis para SATA/SAS y HDD de 3.5″. Esas configuraciones son mucho más sencillas.

En el R760, Dell ofrece un par de opciones de chasis para incorporar unidades Gen4 NVMe. La opción Direct Drives se puede configurar para admitir 8 o 16 unidades. Para las configuraciones de HWRAID, Dell ofrece la tarjeta PERC 12 HWRAID de la misma manera, con una tarjeta RAID para cada lote de 8 SSD. Esta decisión es importante ya que es fundamental para permitir que un R760 totalmente equipado con 16 SSD NVMe obtenga el mejor rendimiento posible.

Descripción general de PERC 12 de Dell

La controladora RAID Dell PowerEdge (PERC) 12 se basa en el silicio Broadcom SAS4116W. A pesar de SAS en el nombre del producto, el controlador es un dispositivo RAID-on-Chip (ROC) trimodal. El mismo controlador RAID se utiliza en la línea Broadcom MegaRAID. Recientemente revisamos la MegaRAID 9670W destacando las capacidades clave. Sin embargo, con Dell PERC 12, las diferencias de diseño esenciales entran en juego según el servidor Dell y la familia de almacenamiento que le interesen.

Con respecto a PowerEdge, la mayoría de las configuraciones aprovecharán la tarjeta PERC 965 "H12i Front". En nuestra revisión del sistema R760 con HWRAID, tenemos dos de estas tarjetas frontales H965i en el sistema, una para cada conjunto de 8 SSD Solidigm P5520. Vale la pena mencionar que estas tarjetas son significativamente más pequeñas que la tarjeta adicional. El diseño de PCB y la gestión térmica son realmente impresionantes. Estas tarjetas se montan directamente en el plano posterior NVMe de 8 unidades y se conectan a la placa base con dos cables PCIe x8. Esto libera ranuras PCIe en el lado de lectura del servidor para otros dispositivos.

Hablando de tarjetas complementarias, la PERC 12 H965i estándar es una tarjeta de media altura y media longitud que incluye un ventilador integrado. Esta versión de PERC 12 aparecerá en algunas configuraciones de PowerEdge y también se puede encontrar en algunos de los nuevos JBOD Dell PowerVault MD. Por último, hay un H965i MX, que es un PCB largo y angosto diseñado para algo como el chasis modular MX7000.

Dell PERC 11 frente a PERC 12

La tarjeta Dell PERC 11 admitió SSD NVMe, pero desafortunadamente, los beneficios del hardware RAID tuvieron un alto costo de rendimiento. Ese éxito es precisamente la razón por la cual la industria está tan entusiasmada con el nuevo silicio de Broadcom y la versión de Dell de esa tarjeta, la PERC. Dell ha publicado algunos números sobre la diferencia entre PERC 11 y PERC 12, que son asombrosos.

Los beneficios de latencia de PERC 12 son claramente evidentes; pero observe el rendimiento en las peores condiciones, el rendimiento durante una reconstrucción. PERC 12 obtiene una mejora de unos pocos miles por ciento, e incluso el tiempo de reconstrucción de RAID ve beneficios significativos.

Si observamos los números de ancho de banda e IOPS que cita Dell, podemos ver nuevamente el enorme avance que da PERC 12 en comparación con PERC 11. En general, todas estas cargas de trabajo ven una mejora mínima de 2X en la tarjeta PERC 12. Por supuesto, hemos realizado nuestras pruebas para comprobar el rendimiento de PERC 12 y llegaremos a eso.

Rendimiento de Dell Direct Drives frente a Dell PERC 12

Para comparar el rendimiento del almacenamiento en Direct Drives frente a PERC 12, configuramos nuestros "primos" del servidor R760 con SSD Solidigm P5520 de 7.68 TB. El Dell R760 con Direct Drives tiene 8 bahías NVMe. El R760 con PERC 12 tiene 16 bahías NVMe con tarjetas RAID frontales H965i gemelas.

A primera vista, puede que no sea obvio que existen ciertas limitaciones de rendimiento en ambos lados. Comenzando con el enfoque de Direct Drives, cada SSD tiene su propia conexión PCIe x4, lo que significa que ocho SSD tienen 32 carriles de PCIe dedicados a ellos.

Esto permite un ancho de banda increíble, generalmente más de 52 GB/s si cada unidad Gen4 puede saturar su conexión de 6.5 GB/s. En comparación con la configuración PERC 12 H965i, cada grupo de ocho SSD interactúa directamente con la tarjeta RAID, que se vuelve a conectar a la placa base con una conexión PCIe x16. Esto reduce a la mitad el ancho de banda que admite la configuración de Direct Drives. Entonces, obviamente, ¿ganan las conexiones NVMe nativas? No exactamente.

Cuando se trata de múltiples dispositivos NVMe en un sistema de múltiples CPU, entran en juego el mapeo NUMA entre la unidad y la CPU, así como las interrupciones del sistema. Esto se puede optimizar, pero requiere un ajuste significativo. No todas las aplicaciones tienen esto en cuenta.

La virtualización es una en la que es un desafío administrar el mapeo NUMA ya que los recursos compartidos se equilibran en tiempo real, a veces a una CPU que podría no tener acceso directo a los recursos PCIe asignados. Las tarjetas RAID de hardware mitigan muchos de estos problemas y optimizan las interrupciones del sistema y el cambio de contexto, lo que libera recursos de la CPU. El mapeo NUMA también se vuelve menos complejo, ya que en lugar de tener 16 SSD individuales divididos en dos CPU, solo tiene que administrar una tarjeta de almacenamiento por CPU.

Nuestro plan de prueba se centra en dos áreas. El primero son las cargas de trabajo de Vdbench que miden el rendimiento de JBOD con ocho SSD pasadas a R760. En Direct Drives R760 hay ocho SSD nativos, mientras que en HWRAID R760, PERC 12 pasa por ocho dispositivos de almacenamiento sin formato. Ambos se prueban tal como están sin optimizaciones. La segunda etapa de prueba muestra el rendimiento escalado de la solución PERC 2 desde una configuración de tarjeta única a una tarjeta dual optimizada.

Nuestra unidad de revisión Direct Drives PowerEdge R760 tiene la siguiente configuración:

• Dual Intel Xeon Gold 6430 (32 núcleos/64 subprocesos, base de 1.9 GHz)
• Memoria RAM DDR1 de 5 TB
• 8 SSD Solidigm P5520 7.68TB Gen4
• RHEL 9

La unidad de revisión HWRAID NVMe PowerEdge R760 tiene la siguiente configuración:

• Dual Intel Xeon Gold 6430 (32 núcleos/64 subprocesos, base de 1.9 GHz)
• Memoria RAM DDR1 de 5 TB
• 16 SSD Solidigm P5520 7.68TB Gen4
• Doble PERC 12 H965i
• RHEL 9

Análisis de carga de trabajo de Vdbench

Cuando se comparan dispositivos de almacenamiento, lo mejor es realizar pruebas de aplicaciones, seguidas de pruebas sintéticas. Si bien no es una representación perfecta de las cargas de trabajo reales, las pruebas sintéticas ayudan a los dispositivos de almacenamiento de referencia con un factor de repetibilidad que facilita la comparación de manzanas con manzanas entre soluciones de la competencia. Estas cargas de trabajo ofrecen una gama de perfiles de prueba que van desde pruebas de "cuatro esquinas" y pruebas comunes de tamaño de transferencia de bases de datos hasta capturas de seguimiento de diferentes entornos VDI.

Estas pruebas aprovechan el generador de carga de trabajo típico de Vdbench con un motor de secuencias de comandos para automatizar y capturar resultados en un gran clúster de pruebas informáticas. Esto nos permite repetir las mismas cargas de trabajo en varios dispositivos de almacenamiento, incluidos arreglos flash y dispositivos de almacenamiento individuales. Nuestro proceso de prueba para estos puntos de referencia llena toda la superficie de la unidad con datos y luego divide una sección de la unidad equivalente al 25 por ciento de la capacidad de la unidad para simular cómo la unidad podría responder a las cargas de trabajo de la aplicación. Esto difiere de las pruebas de entropía completas, que utilizan el 100 por ciento del impulso y lo llevan a un estado estable. Como resultado, estas cifras reflejarán velocidades de escritura más altas.

perfiles:

• Lectura y escritura aleatoria 4K: 100 % de lectura o escritura, 128 subprocesos, 0-120 % de iorate
• Lectura secuencial de 64 K: 100 % de lectura, 32 subprocesos, 0-120 % de iorate
• Escritura secuencial de 64 K: 100 % de escritura, 16 subprocesos, 0-120 % de iorate
• Mezcla aleatoria 4K 70R/30W y 90R/10W, 64 subprocesos, 0-120 por ciento de iorate

Al observar nuestra primera prueba centrada en el ancho de banda de transferencia de lectura, podemos ver la ventaja del canal PCIe que tiene el enfoque Direct Drives con 32 carriles PCIe sobre el único PERC 12 con 16 carriles. Esto da como resultado 41.6 GB/s de Direct Drives frente a 28 GB/s de PERC 12 en modo JBOD.

Al cambiar de ancho de banda de lectura a escritura, la ventaja de los carriles PCIe adicionales se reduce ya que la velocidad de escritura del Solidigm P5520 es menor que su velocidad de lectura. Aquí, la configuración de Direct Drives midió 18.3 GB/s en comparación con los 20.3 GB/s de PERC 12.

En nuestra carga de trabajo de lectura aleatoria de 4K, los 8 SSD Solidigm P5520 en Direct Drive PowerEdge R760 midieron un pico de 5.55 millones de IOPS, en comparación con 4.34 millones de IOPS en la configuración PERC 12.

En la escritura aleatoria de 4K, esa diferencia se vuelve a reducir, con Direct Drives midiendo 3.96 millones de IOPS frente a 4.15 millones de IOPS en PERC 12.

En nuestra primera de dos cargas de trabajo mixtas, observamos una transferencia aleatoria de 4K con una distribución de lectura/escritura de 70/30. Aquí, la configuración de Direct Drives PowerEdge R760 midió un pico de 4.47 millones de IOPS, en comparación con PERC 12 con 3.66 millones de IOPS.

Al aumentar el porcentaje de lectura al 90 % en la misma prueba de transferencia 4K, medimos 5.04 millones de IOPS del servidor Direct Drives frente a 3.62 millones de IOPS del sistema PERC 12.

Análisis de carga de trabajo FIO

Para medir el rendimiento de las unidades de las ofertas Direct Drive y PERC 12 HWRAID de Dell, los puntos de referencia se dividieron en las siguientes configuraciones. El primero incluía una configuración JBOD que medía cada unidad fuera de las configuraciones RAID, RAID10 y luego RAID5.

Para el enfoque de Direct Drives, los SSD se muestran en el sistema operativo con normalidad; para PERC 12, pasan a través del HBA como dispositivos de almacenamiento sin formato. Estas configuraciones se guiaron a través de un proceso de secuencias de comandos para preacondicionar el flash, ejecutar las pruebas para las que fueron acondicionadas y pasar a la siguiente combinación de preacondicionamiento/carga de trabajo.

• Preacondicionamiento secuencial
• Pruebas secuenciales en JBOD, 8DR10, 8DR5 (PERC simple y doble)
• Preacondicionamiento aleatorio
• Pruebas óptimas aleatorias en JBOD, 8DR10, 8DR5 (PERC simple y doble)
• Pruebas de reconstrucción aleatoria en 8DR10, 8DR5 (PERC simple y doble)
• Latencia de escritura aleatoria para optimizar y reconstruir para 8DR5 (PERC único)

Dado que PERC 12 H965i tiene una ranura PCIe Gen16 x4, su rendimiento máximo será de alrededor de 28 GB/s en una dirección, y ahí es donde la ranura Gen4 alcanza su punto máximo. Dell adoptó un enfoque único para este límite de ancho de banda al ofrecer una configuración PERC 12 dual en su PowerEdge R760. En lugar de 16 bahías SSD, todas conectadas a una sola tarjeta, la carga se divide y cada PERC 12 controla su propio conjunto de 8 SSD. Este enfoque evita la limitación del ancho de banda y aumenta drásticamente el rendimiento máximo disponible bajo cargas de trabajo exigentes.

Si observamos primero el rendimiento de la transferencia secuencial, podemos ver la ventaja de ancho de banda que tiene la configuración de Direct Drives, con una velocidad de lectura de 54.4 GB/s frente a la única PERC 12 que mide 28.1 GB/s. La velocidad de escritura nativa también tiene una ventaja, ya que mide 33.4 GB/s frente a los 28.3 GB/s del único PERC 12 con ocho unidades detrás. Las velocidades de escritura, en general, no verán una gran diferencia aquí ya que, en términos generales, esta clase de SSD tiene una velocidad de lectura muy superior a la velocidad de escritura.

Cambiando nuestro enfoque al rendimiento de transferencia aleatoria, comenzamos a ver un cambio en el lugar donde pueden aparecer las ventajas de la tarjeta RAID con respecto al equilibrio NUMA. Con rendimiento de lectura, las SSD Solidigm 7.68TB P5520 midieron 7.96M IOPS en nuestra prueba de lectura 4K, con la configuración PERC 12 JBOD midiendo 7M IOPS. La velocidad de escritura a través de la configuración de Direct Drives se redujo a 3.4 millones de IOPS, mientras que PERC 12 mantuvo 5.97 millones de IOPS. Con la carga de trabajo 4K OLTP, esto se vuelve aún más pronunciado con Direct Drives que miden 3.6 millones de IOPS frente a los 10.2 millones de PERC 12.

Si bien el pensamiento tradicional ha sido que el hardware RAID no tiene valor con los SSD modernos, podemos ver que ese ya no es el caso. Sí, la configuración NVMe de Direct Drives se puede ajustar, pero es un objetivo móvil en varios SSD equilibrados en dos CPU.

Esto contrasta directamente con la tarjeta PERC 12 HWRAID, que administra toda esa complejidad y se conecta a una sola CPU. Para escalar, la segunda tarjeta PERC en Dell PowerEdge R2 se conecta a la otra CPU, lo que ofrece equilibrio para cargas de trabajo más grandes divididas en esos dos grupos de discos. Cabe señalar que alrededor de 760 millones de IOPS, el sistema comenzó a saturar las CPU, por lo que no vimos una escala lineal en algunas áreas con la tarjeta PERC 10 adicional.

Si bien no analizamos las opciones RAID de software con la configuración de Direct Drives PowerEdge R760, tuvimos la oportunidad de ver qué tan bien funciona la configuración RAID en PERC 12 en un estado degradado. Si bien el rendimiento experimentó una caída significativa en comparación con su rendimiento óptimo, tanto RAID10 como RAID5 ofrecieron un rendimiento sólido mientras reconstruían sus grupos RAID.

Si bien el rendimiento óptimo de RAID es un aspecto importante a la hora de elegir una solución de almacenamiento, ver cómo funciona en condiciones subóptimas puede ser igualmente importante. Con ese fin, medimos la latencia de escritura de 4K en RAID5 en condiciones óptimas y reconstruimos el rendimiento con una falla en la unidad. Si el rendimiento o la latencia tuvieran un impacto masivo, la capacidad de respuesta de la aplicación podría convertirse en un problema. Si bien el rendimiento de la reconstrucción disminuye en comparación con el óptimo, la latencia del rendimiento no aumenta con respecto a la línea de base.

Reflexiones Finales:

La nueva tarjeta RAID PERC12 NVMe de Dell cambia el juego para las opciones de almacenamiento NVMe en los servidores PowerEdge. En el pasado, algunos clientes dudaban en cambiar de SSD SAS u optaron por unidades NVMe conectadas a varios SDS o hipervisores. Sin embargo, la introducción de la tarjeta PERC 12 ha alterado la ecuación de PowerEdge, convirtiéndola en una opción más viable.

La razón por la que PERC 12 funciona tan bien también se puede atribuir al diseño del servidor PowerEdge. Nuestro R760 tiene dos tarjetas PERC 12 (H965i Front), cada una con carriles x16. Esto nos permite utilizar los 8 SSD Solidigm con cada tarjeta, lo que proporciona un ancho de banda máximo de hasta 28 GB/s por tarjeta. Conectar los 16 SSD a una sola tarjeta RAID daría como resultado una pérdida de la mitad del rendimiento potencial.

Podría preguntarse: "¿Por qué no 24 SSD con HWRAID?" Solo recuerda que cada sistema tiene un cuello de botella en alguna parte. En este caso, podemos saturar la CPU con bastante facilidad, por lo que el x86 dentro del servidor se convierte en el factor de activación. Si estamos hablando de una solución en clúster, también vincularemos la red. Un puñado de SSD puede llenar fácilmente 200 GbE o incluso 400 GbE. Con capacidades SSD que ahora superan los 30.72 TB, también hay menos necesidad de tener un servidor lleno de unidades para problemas de capacidad del sistema.

Si lees nuestro Revisión de la tarjeta RAID de la serie Broadcom 9600, Comenzamos bastante escépticos de que el nuevo silicio proporcionaría de manera realista toda la resiliencia de datos y reconstruiría los beneficios de HWRAID sin afectar el perfil de rendimiento de SSD NVMe. Nos sorprendieron gratamente los resultados de esa revisión y aún más aquí, con PERC 12 pudiendo duplicarse en el R760 para obtener el doble de rendimiento de primera línea. Si bien las unidades directas de Dell aún pueden ser preferidas en muchos casos de uso, como el almacenamiento definido por software, la opción PERC 12 debería ser extremadamente popular para la mayoría de los casos de uso empresarial.

Interactuar con StorageReview

Boletín informativo | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed