Almacenamiento a velocidad de GPU: evaluación comparativa de Graid SupremeRAID AE para IA

A medida que evoluciona la infraestructura de IA, los flujos de datos se vuelven más rápidos, extensos y complejos. Desde el entrenamiento de grandes modelos hasta la inferencia en tiempo real a gran escala, el subsistema de almacenamiento es esencial para garantizar que las GPU reciban los datos necesarios de forma continua. Dado que el almacenamiento se vuelve cada vez más crucial en los clústeres de IA, las organizaciones se están replanteando cómo ofrecer un alto rendimiento, un rendimiento predecible y resiliencia, especialmente en entornos donde la pérdida de datos o el tiempo de inactividad son simplemente inaceptables.

El desafío se agudiza a medida que los modelos de IA crecen exponencialmente. Los modelos de lenguajes modernos de gran tamaño y los modelos de base requieren puntos de control frecuentes para preservar el progreso del entrenamiento. A medida que el tamaño de los modelos aumenta de miles de millones a billones de parámetros, los requisitos de almacenamiento para estos puntos de control aumentan proporcionalmente. Esto crea una necesidad urgente de espacios de nombres de almacenamiento grandes y unificados que puedan gestionar archivos de puntos de control masivos, manteniendo al mismo tiempo un rendimiento de escritura y lectura extremadamente rápido. Las arquitecturas de almacenamiento tradicionales tienen dificultades para proporcionar la capacidad y la velocidad necesarias para estas exigentes cargas de trabajo.

Los enfoques actuales para la gestión de puntos de control, como la creación asíncrona de puntos de control, que transfiere los pesos del modelo a la memoria de la CPU para permitir que las GPU continúen el entrenamiento, se enfrentan a limitaciones significativas a medida que los modelos crecen. El almacenamiento temporal de estos puntos de control en la memoria del sistema se vuelve cada vez más costoso y costoso, requiriendo enormes cantidades de RAM que incrementan los costes del sistema y el consumo de energía. Más grave aún, a medida que el tamaño de los modelos continúa expandiéndose, este enfoque puede volverse totalmente impráctico debido al gran volumen de datos que necesitaría almacenarse temporalmente en la memoria.

Graid Technology ha introducido un nuevo enfoque diseñado específicamente para abordar estos desafíos. Basándose en el modelo definido por software establecido en soluciones anteriores como SupremeRAID SR1010Lo nuevo de Graid SupremeRAID AE (Edición IA) Incorpora la funcionalidad RAID empresarial a las cargas de trabajo de IA con cambios mínimos en la infraestructura. En lugar de una tarjeta RAID de hardware dedicada o un dispositivo personalizado, AE se entrega como una licencia de software y utiliza solo una pequeña parte de una GPU NVIDIA existente. Esto significa que las organizaciones pueden lograr un rendimiento y una fiabilidad de almacenamiento de nivel empresarial sin 1) consumir ranuras PCIe adicionales, 2) realizar cambios en la infraestructura ni 3) experimentar un impacto significativo en el rendimiento de la GPU para las cargas de trabajo de entrenamiento e inferencia.

Puntos Clave

• Alto rendimiento a escala: SupremeRAID AE alcanza un rendimiento de lectura de hasta 183.60 GB/s y un rendimiento de escritura de hasta 54.23 GB/s, cumpliendo con los exigentes requisitos de IA.
• Mínima sobrecarga de GPU: Introduce una sobrecarga mínima (~4 %) durante la inferencia intensiva de GPU, manteniendo un sólido rendimiento general del sistema.
• Espacio de nombres de almacenamiento unificado masivo: Admite hasta 32 SSD NVMe por matriz, lo que proporciona casi 1 PB de almacenamiento en un único espacio de nombres unificado.
• Capacidades de integración avanzadas: Se integra completamente con NVIDIA GPUDirect Storage y los principales sistemas de archivos centrados en IA (BeeGFS, Lustre, Ceph).
• Infraestructura simplificada: Elimina el hardware RAID dedicado, lo que reduce significativamente la complejidad, los costos y la sobrecarga operativa.

Almacenamiento y resiliencia optimizados para cargas de trabajo de IA avanzadas

SupremeRAID AE admite hasta 32 SSD NVMe en una sola matriz, agrupándolos en un espacio de nombres unificado. Esta estructura permite que las cargas de trabajo de IA accedan eficientemente a grandes conjuntos de datos, manteniendo la resiliencia, lo cual es especialmente importante en entornos que ejecutan trabajos de entrenamiento de larga duración. En caso de fallo de una unidad, la matriz permanece disponible y se conserva el progreso de los puntos de control. Esta protección minimiza el riesgo de pérdida de datos o reinicios prolongados, lo que supone una ventaja significativa para los equipos que gestionan modelos grandes o procesos de inferencia de gran volumen.

Las capacidades de gestión inteligente de recursos de SupremeRAID AE ofrecen oportunidades adicionales de optimización para las cargas de trabajo de IA. Si bien nuestras pruebas demuestran una sobrecarga mínima durante las operaciones concurrentes, el impacto puede reducirse aún más mediante una programación inteligente. Las operaciones de punto de control no suelen ejecutarse simultáneamente con el entrenamiento activo en el mismo nodo; suele haber una pausa momentánea en el entrenamiento durante las fases de creación de puntos de control. Durante estos intervalos, SupremeRAID AE puede aprovechar los recursos adicionales de la GPU no utilizados para acelerar la finalización de los puntos de control.

SupremeRAID AE también es compatible con NVIDIA GPUDirect Storage. Esto permite rutas directas entre el almacenamiento y la memoria de la GPU, lo que resulta en una menor latencia y una mayor eficiencia de E/S. Se integra con sistemas de archivos centrados en IA, como BeeGFS, Lustre y Ceph, e incluye descarga inteligente de datos, junto con API listas para orquestación para automatización. En resumen, SupremeRAID AE ofrece una forma simplificada, pero potente, de incorporar las ventajas de RAID a los flujos de trabajo de IA modernos.

Más allá de las cargas de trabajo de entrenamiento, SupremeRAID AE aborda los requisitos críticos de los escenarios modernos de inferencia de IA. A medida que las organizaciones escalan sus operaciones de inferencia, recurren cada vez más a estrategias avanzadas como la gestión persistente de caché KV, la optimización de prellenado y decodificación, y las arquitecturas de memoria por niveles. Estas técnicas suelen requerir la descarga de cachés KV al almacenamiento cuando superan la capacidad de VRAM. Soluciones como NVIDIA Dynamo, LLM-D de Red Hat y la pila de producción vLLM incorporan integraciones de caché KV por niveles que dependen de un almacenamiento rápido y de alta capacidad. En estos escenarios, contar con grandes grupos de almacenamiento de alto rendimiento se vuelve esencial para mantener una inferencia de baja latencia, y la capacidad de SupremeRAID AE para proporcionar una capacidad masiva y una velocidad excepcional lo convierte en la base ideal para estas arquitecturas de inferencia avanzadas.

En este análisis, evaluamos SupremeRAID AE ejecutándose en nuestra plataforma Dell PowerEdge R770, que cuenta con dos GPU NVIDIA H100 y SSD NVMe Gen16 de 6550 Micron 61.44 de 5 TB. Analizamos el rendimiento en RAID 5 mediante herramientas GDSIO y FIO, y examinamos cómo Graid AE afecta el comportamiento de la GPU durante una carga de trabajo de inferencia LLM en vivo. El objetivo es comprender cómo esta solución se integra en entornos de IA de clase empresarial, donde el rendimiento, la capacidad, la resiliencia y la simplicidad deben escalar conjuntamente.

En cifras: Análisis profundo del rendimiento de SupremeRAID AE

Para probar el rendimiento de Graid SupremeRAID AE, configuramos un Dell PowerEdge R770 con dos GPU NVIDIA H100 y 16 bahías E3.S en la parte frontal. Basado en la plataforma Xeon 6 más reciente de Intel, este sistema se configuró con dos procesadores Intel Xeon 6787P, cada uno con 86 núcleos para gestionar cargas de trabajo altamente paralelas en entornos de IA, HPC y con gran volumen de datos.

El R770 se configuró con 16 bahías E3.S, y el almacenamiento se completó con SSD TLC NVMe Micron 6550 ION de 61.44 TB Gen5, diseñados para ofrecer un rendimiento consistente en una amplia gama de cargas de trabajo. Los SSD Micron ofrecen el equilibrio perfecto entre un rendimiento excepcional y una enorme capacidad, lo que permite que las cargas de trabajo de IA mantengan un alto rendimiento a la vez que simplifican drásticamente la infraestructura de IA. Con un petabyte de almacenamiento en tan solo 16 unidades, las organizaciones pueden gestionar eficientemente grandes conjuntos de datos y puntos de control de modelos a gran escala en un solo servidor, lo que reduce significativamente la complejidad y la sobrecarga de la infraestructura.

Especificaciones del sistema de prueba

• Plataforma: Dell PowerEdge R770
• UPC: 2x Intel Xeon 6787P (86 núcleos cada uno)
• Memoria: 32x Micron 64 GB DDR5 de doble rango 6400 MT/s Memoria total: 2 TB
• Networking: Tarjeta de red DELL BRCM 4P 25G SFP 57504S OCP
• GPU 1: NVIDIA H100 (VRAM 80 GB)
• GPU 2:  NVIDIA H100NVL (VRAM de 96 GB)
• Almacenamiento: 16 x Micron ION 61 de 6550 TB SSD (grupo RAID 915 de 5 TB)

Como parte de estas pruebas de rendimiento, los SSD Micron se configuraron en un único grupo RAID 5 con SupremeRAID AE. Esta configuración se seleccionó para evaluar la eficacia de SupremeRAID AE para equilibrar el rendimiento y la tolerancia a fallos en un entorno basado en IA que exige almacenamiento de alta capacidad. RAID 5 distribuye la paridad entre todas las unidades, lo que protege contra fallos de una sola unidad, manteniendo al mismo tiempo la capacidad de almacenamiento utilizable.

Antes de profundizar en las pruebas de rendimiento, es importante tener en cuenta las diferencias entre GDSIO y FIO al medir el rendimiento del almacenamiento con Graid. En nuestras evaluaciones anteriores del rendimiento de Graid, una observación crucial es que no existen cuellos de botella (como una tarjeta RAID de hardware) que limiten el ancho de banda máximo. Las tarjetas RAID de hardware gestionan los dispositivos de almacenamiento conectados a ellas, y la ranura PCIe puede convertirse en un cuello de botella en este proceso. Graid utiliza una GPU para las operaciones RAID, pero no todos los datos necesitan pasar por ella. Por lo tanto, la GPU no limita el ancho de banda.

El benchmark de almacenamiento FIO mide el rendimiento del almacenamiento utilizando la CPU para acceder al mismo y solo está limitado por la solución de almacenamiento. GDSIO, por otro lado, mide el rendimiento del almacenamiento directo por GPU, donde la GPU puede ser el factor limitante. La NVIDIA H100, por ejemplo, tiene una interfaz PCIe Gen5 x16 y ofrece un ancho de banda de entrada y salida de aproximadamente 63 GB/s. Al hablar de cuellos de botella en el rendimiento de la GPU en este contexto, el problema se relaciona con el ancho de banda que la GPU puede soportar con el almacenamiento directo por GPU, no con un cuello de botella de Graid.

Almacenamiento directo de GPU NVIDIA

Una de las pruebas que realizamos en este banco de pruebas fue la prueba Magnum IO GPU Direct Storage (GDS). GDS es una función desarrollada por NVIDIA que permite a las GPU ignorar la CPU al acceder a datos almacenados en unidades NVMe u otros dispositivos de almacenamiento de alta velocidad. En lugar de enrutar los datos a través de la CPU y la memoria del sistema, GDS permite la comunicación directa entre la GPU y el dispositivo de almacenamiento, lo que reduce significativamente la latencia y mejora el rendimiento de los datos.

Cómo funciona el almacenamiento directo en GPU

Tradicionalmente, cuando una GPU procesa datos almacenados en una unidad NVMe, los datos primero deben pasar por la CPU y la memoria del sistema antes de llegar a la GPU. Este proceso genera cuellos de botella, ya que la CPU se convierte en un intermediario, lo que agrega latencia y consume valiosos recursos del sistema. El almacenamiento directo en la GPU elimina esta ineficiencia al permitir que la GPU acceda a los datos directamente desde el dispositivo de almacenamiento a través del bus PCIe. Esta ruta directa reduce la sobrecarga asociada con el movimiento de datos, lo que permite transferencias de datos más rápidas y eficientes.

Las cargas de trabajo de IA, especialmente las que implican aprendizaje profundo, requieren un uso intensivo de datos. El entrenamiento de redes neuronales de gran tamaño requiere el procesamiento de terabytes de datos, y cualquier retraso en la transferencia de datos puede provocar que las GPU se subutilicen y que los tiempos de entrenamiento sean más prolongados. El almacenamiento directo en la GPU aborda este desafío al garantizar que los datos se entreguen a la GPU lo más rápido posible, lo que minimiza el tiempo de inactividad y maximiza la eficiencia computacional.

Además, GDS es particularmente beneficioso para cargas de trabajo que implican la transmisión de grandes conjuntos de datos, como el procesamiento de video, el procesamiento de lenguaje natural o la inferencia en tiempo real. Al reducir la dependencia de la CPU, GDS acelera el movimiento de datos y libera recursos de la CPU para otras tareas, lo que mejora aún más el rendimiento general del sistema.

Rendimiento de lectura aleatoria de 16 unidades GDSIO

Antes de analizar las cifras de rendimiento, es fundamental tener en cuenta que el factor limitante en el rendimiento de lectura y escritura con GDSIO es la(s) GPU. La prueba está diseñada para medir el rendimiento máximo de almacenamiento que se puede transferir o extraer de la GPU. Eventualmente, se encontrará con un cuello de botella en la ranura PCIe, que para PCIe Gen5 x16 es de aproximadamente 63 GB/s.

En cuanto al rendimiento de lectura aleatoria GDSIO, la matriz obtuvo sus mejores resultados con tamaños de bloque mayores y mayor número de hilos, mientras que tuvo dificultades para escalar eficientemente en el extremo inferior. A 16 128/7.3 hilos, la mejora comenzó a ser más notable, alcanzando 32 GiB/s, pero la verdadera aceleración del rendimiento no se notó hasta 15.5 64 y superior, donde la matriz alcanzó 64 GiB/s con 25.9 hilos. Se observaron mejoras sustanciales a 128 41.3, alcanzando 64 GiB/s, y el rendimiento despegó a partir de 40 128, que alcanzó 1 GiB/s con 32 hilos y se mantuvo por encima de 88.5 GiB/s con XNUMX hilos. El rendimiento máximo se alcanzó con un tamaño de bloque de XNUMX M con XNUMX hilos, donde la matriz alcanzó XNUMX GiB/s y mantuvo ese nivel en los niveles más altos de hilos.

 

Latencia de lectura aleatoria de la unidad GDSIO 16

Siguiendo los resultados de rendimiento, el perfil de latencia de lectura aleatoria de la matriz reflejó el comportamiento de escalamiento observado anteriormente. La latencia se mantuvo excepcionalmente baja en todos los tamaños de bloque y conteos de subprocesos hasta 16 subprocesos, con valores que se mantuvieron por debajo de 0.1 ms para todo hasta 128 K. Incluso bloques más grandes, como 128 K, se mantuvieron alrededor de 0.13 ms a 0.20 ms. Sin embargo, más allá de 16 subprocesos, la latencia aumentó notablemente. A 16 k / 32 subprocesos, la latencia continuó aumentando, llegando finalmente a 980 ms a 128 subprocesos. De manera similar, las lecturas de 1 millón, que tuvieron el mayor rendimiento, aumentaron de 0.242 ms en un subproceso a 2.892 ms a 128 subprocesos. La tendencia fue consistente en todos los tamaños, ya que la latencia se mantuvo estable bajo concurrencia moderada, pero aumentó drásticamente a medida que el conteo de subprocesos aumentó más allá de 32, particularmente con tamaños de bloque mayores.

 

Rendimiento de escritura aleatoria de 16 unidades GDSIO

En cuanto al rendimiento de escritura GDSIO, la matriz volvió a mostrar un rendimiento sólido con tamaños de bloque mayores, con un escalamiento general más gradual en comparación con las lecturas. El rendimiento comenzó a mejorar de forma más significativa a partir de 32 K, donde el rendimiento superó los 5.9 GiB/s, y especialmente a partir de 64 subprocesos, donde los bloques de 512 K y 1 M mostraron mejoras sostenidas incluso con un alto número de subprocesos. A partir de 64 subprocesos, las escrituras de 512 K alcanzaron los 25.4 GiB/s y las de 1 M alcanzaron un máximo de 38.4 GiB/s, mientras que a 128 subprocesos, las escrituras de 1 M continuaron escalando hasta alcanzar un pico máximo de 45.9 GiB/s. Los tamaños de bloque de 512 K y 128 K también se mantuvieron constantes con alta concurrencia, estabilizándose en torno a los 26.2 GiB/s y los 8.0 GiB/s, respectivamente.

 

Latencia de escritura aleatoria de 16 unidades GDSIO

Tras el sólido escalamiento del rendimiento de escritura, el perfil de latencia para escrituras aleatorias en la matriz mostró un aumento constante a medida que aumentaban el tamaño del bloque y el número de subprocesos. Incluso con un número bajo de subprocesos, la latencia de escritura comenzó siendo notablemente superior a la de lectura, comenzando en 0.367 ms y aumentando con cada tamaño de bloque hasta 1.222 ms a 1 M. A medida que aumentaba la concurrencia, la latencia aumentó gradualmente hasta 16 subprocesos, para luego acelerarse de forma más agresiva. A 64 subprocesos, las escrituras alcanzaron los 0.663 ms, mientras que las escrituras a 1 M alcanzaron los 3.255 ms. A 128 y 256 subprocesos, la latencia aumentó significativamente, especialmente con bloques de gran tamaño. Por ejemplo, las escrituras a 512 K alcanzaron los 4.770 ms a 128 subprocesos, y las de 512 K y 1 M superaron los 5 ms, alcanzando un máximo de 5.436 ms a 1 M.

 

FIO Benchmark de desempeño

A continuación, analizamos el rendimiento de FIO en el conjunto RAID5. Si bien el GDSIO depende en última instancia del rendimiento de las GPU instaladas en el sistema y su ancho de banda PCIe, el FIO puede ser mayor en función del rendimiento de los SSD y de la propia solución RAID.

Todo el conjunto se somete a un proceso de pruebas constante, que comienza con una fase de preacondicionamiento que consiste en dos llenados de volumen completo mediante una carga de trabajo de escritura secuencial, seguida de nuestras cargas de trabajo secuenciales y aleatorias. Esto garantiza que las unidades alcancen un estado estable antes de comenzar la medición del rendimiento.

Para cada nuevo tipo de carga de trabajo, reiniciamos el preacondicionamiento utilizando el tamaño de transferencia correspondiente para mantener la precisión y la consistencia en los resultados.

En esta sección se destacan los siguientes puntos de referencia de lectura/escritura aleatoria FIO aplicados a la matriz RAID 16 SSD Graid 5:

• 1M de escritura/lectura aleatoria
• Escritura/lectura aleatoria de 64 K
• Escritura/lectura aleatoria de 16 K
• Escritura/lectura aleatoria de 4 K

1M de ancho de banda de lectura/escritura aleatoria

Al pasar a operaciones aleatorias de 1M, el ancho de banda de lectura lideró la curva de rendimiento, alcanzando un máximo de 183.60 GB/s con una profundidad de E/S de 16 y 172 trabajos, la configuración más agresiva probada. Se registraron resultados de alto rendimiento similares con 8/172 y 4/172, superando ambos los 182 GB/s, lo que destaca la capacidad de la matriz para escalar con un mayor número y profundidad de trabajos. Incluso configuraciones de rango medio como 4/86 y 16/43 se mantuvieron sólidas, manteniendo más de 147 GB/s, mostrando un rendimiento de lectura consistente en diferentes niveles de concurrencia. Al pasar a las escrituras, el ancho de banda aleatorio de 1M alcanzó un máximo de 54.233 GB/s con 8/172, con unos 53.77 GB/s casi idénticos con 2/86, lo que valida un escalado de escritura eficiente con cargas de trabajo paralelas. El rendimiento se redujo gradualmente en combinaciones de subprocesos inferiores, como 1/43 y 2/43, que produjeron 24.88 GB/s y 42.48 GB/s, respectivamente, lo que aún refleja una fuerte curva de saturación incluso en niveles de concurrencia moderados.

Latencia de lectura/escritura aleatoria de 1 M

La latencia se mantuvo controlada para las lecturas en todo el rango de prueba. La latencia más baja observada fue de 0.714 ms tanto en 2/86 como en 4/86, mientras que las cargas de mayor profundidad, como 8/172 y 4/172, se mantuvieron por debajo de los 2 ms. La configuración que produjo el mayor rendimiento de lectura, 16/172, presentó la latencia más alta, de 7.516 ms, una clara contrapartida, ya que las colas más profundas aumentaron los tiempos de respuesta. En la escritura, la latencia siguió un patrón similar. La latencia de escritura más baja se midió en 1.727 ms con 1/43. Se logró un buen equilibrio entre rendimiento y latencia en 2/86, con 3.197 ms. Las opciones de mayor concurrencia, como 8/43, registraron 6.389 ms, y la configuración 16/172, si bien ofreció un rendimiento de escritura máximo, registró la latencia más alta con 50.741 ms, lo que subraya la familiar relación inversa entre el rendimiento y la capacidad de respuesta a profundidades extremas.

Ancho de banda de lectura/escritura aleatoria de 64K

Al cambiar a operaciones aleatorias de 64K, el ancho de banda de lectura mejoró significativamente con una mayor profundidad de cola y mayor número de trabajos, alcanzando un pico de 91.65 GB/s con una profundidad de 32 E/S y 172 trabajos. Otras configuraciones siguieron de cerca, como 16/172 con 83.59 GB/s y 32/86 con 82.85 GB/s, lo que demostró mejoras consistentes en el rendimiento a medida que aumentaba la carga de trabajo. Las configuraciones de rango medio, como 8/172 y 16/86, mantuvieron buenos resultados entre 78 GB/s y 79 GB/s. Por el contrario, las combinaciones de menor concurrencia, como 1/43 y 1/172, produjeron niveles de rendimiento reducidos, de entre 21.89 GB/s y 42.63 GB/s, lo que ilustra la dependencia de la matriz del paralelismo para un rendimiento máximo. En cuanto a la escritura, el ancho de banda aleatorio de 64K alcanzó un pico de 6.44 GB/s con 32/86. Otras configuraciones de alto rendimiento, como 32/172 y 16/86, mostraron una estrecha correlación, registrando 6.41 GB/s y 6.36 GB/s, respectivamente. La mayoría de los puntos de prueba se agruparon entre 6.3 GB/s y 6.4 GB/s, mostrando una consistencia estable en diferentes profundidades de cola. Las configuraciones ligeras, como 1/43, mostraron el menor rendimiento de escritura, con 3.83 GB/s, lo que refuerza la tendencia de mejoras progresivas con cargas de trabajo más pesadas.

Latencia de lectura/escritura aleatoria de 64 K

La latencia de lectura aleatoria de 64K se mantuvo consistentemente baja en la mayoría de los casos de prueba. La latencia más baja fue de 0.123 ms en 1/43, seguida de 0.175 ms en 1/86. A medida que aumentaba el rendimiento, la latencia se mantuvo dentro de un rango controlado: 4/172 registró 0.666 ms, mientras que 16/172 alcanzó 2.057 ms. Incluso con mayor carga, la capacidad de respuesta se mantuvo eficiente, con 32/86 registrando 2.076 ms a pesar de ofrecer uno de los mejores resultados de ancho de banda. En la escritura, la latencia escaló con mayor intensidad con la profundidad y el número de trabajos. La latencia más baja se registró en 2/43, con 0.887 ms, seguida de cerca por 4/43 y 2/86, con 1.694 ms y 1.697 ms, respectivamente. Las configuraciones más pesadas mostraron signos claros de compromiso en el tiempo de respuesta: 8/172 registró 13.445 ms, 16/172 ascendió a 26.862 ms y 32/172 alcanzó un máximo de 63.201 ms, lo que enfatiza la mayor sobrecarga de cola a medida que las cargas de trabajo se intensificaron.

16 XNUMX IOPS de lectura y escritura aleatorias

La latencia de lectura aleatoria de 16K se mantuvo baja incluso en el pico de IOPS. La mejor capacidad de respuesta se observó en las configuraciones más ligeras: 1/43 alcanzó tan solo 0.087 ms y 1/86 0.114 ms. Combinaciones de mayor concurrencia, como 4/86 y 8/86, registraron 0.236 ms y 0.420 ms, respectivamente. Incluso las configuraciones de mayor rendimiento mantuvieron una latencia razonable: 16/172 registró 1.143 ms y 32/172 2.372 ms, lo que demuestra un escalado eficiente con un impacto razonable en el tiempo de respuesta. Para las escrituras aleatorias de 16K, la latencia más baja se registró en 2/43 con 0.848 ms, seguida de 1.253 ms en 4/43 y 1.415 ms en 1/43. A medida que aumentaron la profundidad y el número de trabajos, la latencia aumentó gradualmente: 8/172 alcanzó 5.574 ms, mientras que 16/172 y 32/172 subieron a 10.455 ms y 22.958 ms respectivamente, lo que resalta la compensación esperada a medida que aumentaba la saturación de la cola.

Latencia de lectura/escritura aleatoria de 16 K

La latencia de lectura aleatoria de 16K se mantuvo consistentemente baja en todos los entornos. La configuración con mayor capacidad de respuesta fue 1/43 con 0.123 ms, seguida de cerca por 1/86 con 0.175 ms. Incluso bajo presión máxima, configuraciones como 32/172 y 16/172 mantuvieron la latencia por debajo de 2.1 ms, lo que demuestra que la matriz mantuvo tiempos de respuesta rápidos al gestionar IOPS elevados. Por el contrario, la latencia de escritura aleatoria de 16K mostró una mayor varianza. La latencia más baja fue de 0.496 ms con 1/43, mientras que otras ejecuciones eficientes, como 2/86 y 4/43, se mantuvieron por debajo de 1 ms. A medida que aumentaba la concurrencia y la profundidad, la latencia también aumentó: 16/172 registró 7.017 ms y 32/172 alcanzó 17.246 ms, lo que refuerza el equilibrio esperado entre el rendimiento máximo y la capacidad de respuesta a máxima saturación.

4 XNUMX IOPS de lectura y escritura aleatorias

Con una carga de concurrencia más alta, las IOPS de lectura aleatorias de 4K alcanzaron un impresionante pico de 10.77 millones con una profundidad de E/S de 32 y 344 trabajos. Le siguieron de cerca otras configuraciones, como 16/344 con 10.52 M, 4/344 con 10.51 M y 8/344 con 10.42 M, todas ellas demostrando un escalamiento excepcional con combinaciones agresivas de cola y profundidad de trabajo. Incluso las opciones de profundidad reducida, como 8/172 y 16/172, mantuvieron un alto rendimiento entre 5.23 M y 5.35 M de IOPS, lo que refuerza la capacidad del array para gestionar cargas de trabajo paralelas exigentes. En la fase de escritura, las IOPS de 4K alcanzaron un pico de 987.9 K con 32/172. Configuraciones similares de alta eficiencia incluyeron 32/86 a 985.1 K, 16/172 a 985.6 K y 8/172 a 976.9 K. Combinaciones adicionales, de 8/86 a 16/86, mantuvieron el rendimiento en el rango de 875 K a 977 K, lo que reforzó la consistencia y la fiabilidad de la matriz cuando se saturaba por completo con operaciones de escritura simultáneas.

Latencia de lectura/escritura aleatoria de 4 K

La latencia de lectura aleatoria de 4K se mantuvo extremadamente baja en todos los entornos. El tiempo de respuesta más rápido fue de 0.084 ms a 1/86, mientras que otras configuraciones, como 1/43, 2/43 y 4/43, se mantuvieron por debajo de los 0.12 ms. Incluso en el pico de IOPS, la latencia se mantuvo bien controlada, con la configuración de mayor rendimiento de 32/344 manteniéndose en tan solo 1.142 ms. Esto refleja una excelente capacidad de respuesta, incluso cuando la matriz alcanzó su máximo potencial de rendimiento. En cuanto a la escritura, la latencia aleatoria de 4K también se gestionó correctamente. El valor más bajo registrado fue de 0.352 ms a 1/43, mientras que otras configuraciones de alta eficiencia, como 1/86, 2/43 y 4/43, se mantuvieron por debajo de los 0.6 ms. Las configuraciones de alto rendimiento, como 32/172 y 32/86, vieron que la latencia aumentaba modestamente a entre 2.79 ms y 5.87 ms, manteniéndose dentro de un rango aceptable considerando los niveles sostenidos de saturación de escritura.

 

Medición de la sobrecarga de la GPU Graid SupremeRAID AE

Al examinar las métricas de rendimiento del almacenamiento SupremeRAID AE de Graid, es fundamental considerar cómo SupremeRAID, que comparte recursos de la GPU, podría afectar las cargas de trabajo que también utilizan esas mismas GPU. En implementaciones anteriores de SupremeRAID, la GPU del sistema estaba dedicada a Graid. Con esta solución, se implementa en una plataforma que ya contiene GPU que Graid puede utilizar y compartir recursos. Para medir el impacto en la sobrecarga, desarrollamos un escenario de inferencia LLM con vLLM. Medimos el rendimiento base de la carga de trabajo con Graid inactivo y, posteriormente, con Graid leyendo 172 GB en el pool RAID 5. Esto simula la carga de trabajo de inferencia, preasignando la siguiente carga de trabajo mientras una se está ejecutando. Con vLLM llevando las GPU al 100 % de utilización, cualquier operación de Graid afectará las tasas de tokens y la latencia.

Para la carga de trabajo de IA, ejecutamos la inferencia con vLLM utilizando el modelo Llama 3.3 70B con precisión completa (BF16) y una caché KV de 16 78. Esto aprovechó casi por completo la VRAM de ambas tarjetas (80 G en la de 86 G y 94 G en la de 256 G). A continuación, ejecutamos el script de evaluación comparativa de vLLM con una longitud de salida máxima de 256 tokens. Cada prueba ejecutó 32 consultas con una concurrencia máxima de 172 solicitudes, utilizando procesamiento por lotes continuo para simular un patrón de solicitud realista. Las métricas que recopilamos son Tok/s, Tiempo hasta el primer token (TTFT), Tiempo por token de salida (TPOT) y Latencia entre tokens (ITL). La carga de trabajo FIO que iniciamos durante la prueba de inferencia consistió en 16 trabajos de lectura aleatoria de 1 XNUMX, cada uno con una lectura de XNUMX GB.

El rendimiento experimentó una ligera disminución generalizada. El rendimiento de solicitudes disminuyó de 1.86 a 1.78 solicitudes por segundo, lo que representa una disminución del 4.3 %. El rendimiento de tokens de salida disminuyó de 225.44 a 215.94 tokens por segundo, lo que representa una reducción del 4.2 %. El rendimiento total de tokens disminuyó de 2029.77 a 1944.30 tokens por segundo, lo que representa una caída similar del 4.2 %. Esto sugiere que la transferencia introdujo cierta sobrecarga que afectó ligeramente al rendimiento.

Las métricas de latencia revelaron resultados mixtos. El TTFT medio aumentó un 3.6%, de 6,704 ms a 6,945 ms, mientras que el TTFT medio aumentó un 1.5%. Curiosamente, el TTFT P99 mejoró, disminuyendo un 2.8%, de 14,199 ms a 13,803 ms, lo que indica un mejor rendimiento al final de esa métrica. Para TPOT, la media aumentó un 5.3%, mientras que la mediana se mantuvo relativamente estable con un aumento del 0.65%. Sin embargo, el TPOT P99 aumentó bruscamente un 24.6%, de 127.69 ms a 159.15 ms, lo que muestra que el tiempo de generación de tokens en el peor caso se vio significativamente afectado. La latencia entre tokens (ITL) mostró tendencias similares: la media aumentó un 5.1%, la mediana se mantuvo prácticamente sin cambios y el P99 aumentó un 2.2%.

SupremeRAID AE de Graid, al ejecutarse junto con nuestra carga de trabajo vLLM, presentó una pequeña pero constante caída en el rendimiento (aproximadamente un 4%), junto con aumentos moderados en la latencia promedio y una notable degradación en el rendimiento de P99 para la generación de tokens. Con estos impactos, el sistema se mantuvo completamente estable y receptivo, lo que demuestra que la inferencia de alta concurrencia con modelos grandes, como Llama 3.3 70B, aún puede funcionar de forma fiable junto con SupremeRAID AE de Graid.

Métrica (menor duración / mayor tok/s es mejor)	Base	Con operación de lectura FIO de 172 GB
Solicitudes exitosas	256	256
Duración del punto de referencia (s)	137.68	143.73
Tokens de entrada totales	248,414	248,414
Total de tokens generados	31,037	31,037
Rendimiento de solicitudes (solicitudes)	1.86	1.78
Rendimiento del token de salida (tok/s)	225.44	215.94
Rendimiento total de tokens (tok/s)	2029.77	1944.30
Tiempo hasta el primer token (TTFT) (menor latencia, mejor)
TTFT media (ms)	6,704.43	6,945.72
TTFT mediana (ms)	6,469.88	6,569.80
P99 TTFT (ms)	14,199.21	13,803.62
Tiempo por token de salida (TPOT, excepto el primer token) (una latencia más baja es mejor)
TPOT medio (ms)	81.44	85.72
TPOT mediana (ms)	80.38	80.90
P99 TPOT (ms)	127.69	159.15
Latencia entre tokens (ITL) (menor latencia, mejor)
ITL media (ms)	79.94	83.99
Mediana de ITL (ms)	49.75	49.78
P99 ITL (ms)	539.07	550.73

Pensamientos Finales

Graid SupremeRAID AE ofrece una solución práctica y de alto impacto para organizaciones que desarrollan o escalan infraestructura de IA. Al reemplazar el RAID de hardware tradicional con un enfoque definido por software basado en GPU, SupremeRAID AE simplifica la implementación y elimina los obstáculos comunes que frenan los flujos de trabajo de IA modernos.

Nuestras pruebas demostraron su capacidad para unificar hasta 32 SSD NVMe en un único espacio de nombres resiliente, ofreciendo casi 1 PB de capacidad en un servidor con un rendimiento excepcional. Los resultados máximos de 183 GB/s de lectura y 54 GB/s de escritura, junto con una mínima sobrecarga de la GPU durante la inferencia en vivo, validan su capacidad para satisfacer las exigencias de la creación masiva de puntos de control de modelos y la inferencia de baja latencia a escala.

Al eliminar el coste y la complejidad del hardware RAID dedicado y al integrarse a la perfección con tecnologías como NVIDIA GPUDirect Storage y sistemas de archivos orientados a la IA, SupremeRAID AE crea una base de almacenamiento preparada para el futuro. Para las organizaciones que buscan optimizar la inferencia y reducir el riesgo operativo, SupremeRAID AE ofrece el rendimiento, la simplicidad y la resiliencia necesarios para entornos de producción de IA.

SupremeRAID AE