MinIO ha presentado ExaPOD, una arquitectura de referencia modular para el desarrollo y la gestión de infraestructuras de IA a exaescala. Esta arquitectura se creó en colaboración con Intel, Solidigm y Supermicro. ExaPOD funciona con MinIO AIStor, el sistema de almacenamiento de datos a exaescala de MinIO para empresas de IA. Extiende el concepto DataPOD existente, pasando de unidades de 100 petabytes a bloques de un exabyte.
ExaPOD sirve como plantilla reutilizable para empresas y nuevos proveedores de nube. Ayuda a ofrecer un rendimiento de IA sostenible, predecible y rentable a gran escala en la infraestructura que controlan.
Resolviendo el verdadero cuello de botella en la IA
A medida que los agentes de IA, los modelos de contexto extenso y los flujos de trabajo multimodales se vuelven más comunes, los volúmenes de datos aumentan de petabytes a varios exabytes. En muchos casos, la principal limitación no es la disponibilidad de GPU, sino la entrega de datos. Las GPU suelen estar inactivas, no por falta de potencia de cómputo, sino porque el almacenamiento y la ruta de datos no pueden suministrarlos con la suficiente rapidez.
ExaPOD está diseñado específicamente para eliminar este cuello de botella. Reduce y estabiliza la latencia a escala exascale, garantizando que la ruta de datos se mantenga amplia y consistente. MinIO busca utilizar ExaPOD para crear una capa de almacenamiento y datos que admita acceso de alto rendimiento y baja latencia a conjuntos de datos de entrenamiento, inferencia y recuperación. Esto garantiza que las cargas de trabajo de IA reciban flujos de datos continuos en lugar de esperar a que se complete la E/S.
Además del rendimiento, ExaPOD aborda las necesidades prácticas de la IA a gran escala:
- Coste total de propiedad predecible: El diseño de referencia utiliza componentes estándar de la industria ampliamente conocidos y almacenamiento definido por software, lo que permite una modelización de costes predecible a medida que aumenta la capacidad.
- Despliegue soberano en las instalaciones: ExaPOD está diseñado para ejecutarse en hardware bajo el control de la empresa o del proveedor de neocloud. Esto minimiza los costes imprevistos, evita la dependencia de un proveedor de nube específico y simplifica el cumplimiento de las normas de residencia y soberanía de datos.
En otras palabras, ExaPOD es más que velocidad; hace que la infraestructura de datos de IA sea más manejable, predecible y sostenible a escala de exabytes.
La arquitectura de datos, no solo los modelos, en el centro de la IA
AB Periasamy, cofundador y codirector ejecutivo de MinIO, considera que el desarrollo de la IA moderna representa un desafío para la infraestructura de datos, más que un simple problema de modelo o hardware. Cree que las organizaciones que triunfarán en IA serán aquellas que replanteen cómo se almacenan, transfieren y acceden a los datos a gran escala, manteniendo al mismo tiempo una eficiencia de costes propia de los hiperescaladores.
En este contexto, ExaPOD ofrece a las empresas una forma clara y modular de crear infraestructura preparada para la IA sin sacrificar el control, la flexibilidad ni la transparencia de costes. En lugar de utilizar soluciones opacas y estandarizadas, ExaPOD ofrece un patrón de bloques idénticos y repetibles que pueden escalar desde racks hasta centros de datos completos, manteniendo el rendimiento y la fiabilidad.
Hardware asociado
Supermicro SYS-212H-TN 2U, 24 bahías NVMe: El SYS-212H-TN ofrece una solución compacta y equilibrada para implementaciones a escala de rack. Sus 24 bahías NVMe U.2 maximizan la densidad de almacenamiento por rack sin comprometer el flujo de aire, la eficiencia energética ni la facilidad de mantenimiento, además de ser compatible con refrigeración líquida y suministro de energía de alta eficiencia.
Intel Xeon 6781P (80 núcleos, 136 líneas PCIe Gen5): El Xeon 6781P fue elegido por su capacidad para aprovechar simultáneamente redes NVMe de alta densidad y redes Gigabit Ethernet de 400/800 GbE. Con 136 líneas PCIe Gen5, admite paralelismo total en 24 unidades NVMe y dos tarjetas de red Gigabit Ethernet de 400 GbE sin sobrecarga.
SSD Solidigm D5-P5336 (122.88 TB QLC NVMe): Con 122.88 TB de almacenamiento por unidad, el Solidigm D5-P5336 ofrece una densidad de almacenamiento extrema, lo que permite a ExaPOD alcanzar una capacidad útil de varios exabytes en el centro de datos más pequeño y eficiente del sector.
Un aspecto clave de ExaPOD es su enfoque en la densidad y la eficiencia energética, factores cruciales a escalas de varios petabytes y exabytes.
ExaPOD ofrece:
- 36 PiB de capacidad útil por unidad de rack en una configuración compacta todo en uno, lo que reduce significativamente el espacio físico necesario para la infraestructura de datos de IA. Esta densidad es esencial para instalaciones con limitaciones de energía y espacio físico.
- Un promedio de 900 W por PiB de capacidad utilizable, incluyendo la refrigeración. Al reducir los requisitos de energía de la capa de datos, ExaPOD libera mayor capacidad energética del centro de datos para GPU y aceleradores.
Véalo en SC25
MinIO presentará ExaPOD en SuperComputing '25 en St. Louis del 16 al 21 de noviembre.
Amazon