WEKA anunció que Andromeda, la plataforma que conecta a equipos de IA con computación de alto rendimiento a través de un mercado abierto de proveedores, está integrando WEKA NeuralMesh como capa central de almacenamiento de datos para sus clústeres de GPU gestionados. Los clientes de Andromeda pueden elegir entre una implementación dedicada de NeuralMesh y una configuración NeuralMesh Axon nativa para GPU, lo que les proporciona un rendimiento de almacenamiento uniforme en cualquier clúster que se ejecute en cualquier proveedor de hiperescala o nube de IA.
Andromeda opera con más de 50 proveedores de computación en todo el mundo, enrutando las cargas de trabajo de entrenamiento e inferencia a través de una creciente flota de clústeres gestionados, y afirma prestar servicio a más de 100 clientes de IA, soportando miles de millones de horas de GPU. Cada clúster en la plataforma debe cumplir con los mismos estándares de calidad, independientemente de quién opere la infraestructura, y Andromeda certifica cada uno en cuanto a GPU, almacenamiento, estructura de red y seguridad antes de que llegue a un cliente. Este estándar puso de manifiesto el problema: cada proveedor aportaba su propio entorno de almacenamiento, y el rendimiento variaba de un clúster a otro.
NeuralMesh busca estandarizar esa capa de datos. Para Andromeda, la plataforma proporciona una arquitectura de almacenamiento desplegable que se configura de forma consistente en todos los proveedores de hardware, en lugar de depender de la implementación de almacenamiento compartido nativa de cada nube o centro de datos.
“Nuestro objetivo es facilitar el flujo global de computación, lo que significa que cada clúster que entregamos debe tener un rendimiento óptimo, independientemente de la procedencia de la capacidad”, afirmó Wil Moushey, director ejecutivo de Andromeda. “La estandarización en WEKA NeuralMesh ha brindado a nuestros clientes una consistencia propia de los hiperescaladores, combinada con la flexibilidad del mercado abierto en la capa de almacenamiento y memoria, donde el rendimiento se ve comprometido. Las GPU inactivas están frenando el ritmo de la innovación en IA. WEKA nos ayuda a garantizar que cada GPU que administramos sea rentable”.
Almacenamiento nativo de GPU con NeuralMesh Axon
NeuralMesh Axon es la implementación nativa para GPU de la plataforma de software NeuralMesh. Integra el almacenamiento directamente en los servidores GPU de Andromeda, convirtiendo el NVMe existente de cada clúster en una capa de datos unificada que alimenta el entrenamiento y la inferencia. El argumento económico se deriva de esto: el hardware ya está instalado, alimentado y pagado, por lo que el rendimiento se obtiene sin aumentar el espacio físico, el consumo de energía ni el costo. WEKA cita un caso en el que un laboratorio de investigación descubrió que sus cargas de trabajo se veían limitadas por el almacenamiento proporcionado por su clúster, y Andromeda implementó Axon en el mismo hardware en lugar de agregar infraestructura.
Andromeda utiliza el operador de Kubernetes NeuralMesh para automatizar el despliegue y la gestión del ciclo de vida de los clústeres. La compañía informa que los nuevos clústeres NeuralMesh Axon se pueden desplegar desde hardware físico en aproximadamente 10 minutos. Alrededor de la mitad de sus despliegues de NeuralMesh utilizan la configuración Axon, mientras que el resto son despliegues dedicados para clientes que requieren recursos exclusivos de computación y memoria GPU.
“La primera implementación de WEKA NeuralMesh Axon en Andromeda tardó solo 10 minutos en ponerse en marcha desde cero. Ese se convirtió en nuestro modelo a seguir”, afirmó Vishvajit Kher, arquitecto principal de Andromeda. “Si un proveedor de nube no ofrece almacenamiento compartido, ya no tenemos limitaciones. Implementamos WEKA NeuralMesh y sabemos que funcionará. Es un sistema completo, hasta un 90 % más económico que las alternativas del mercado, lo que genera ahorros que se multiplican a medida que escalamos”.
El modelo de despliegue permite a Andromeda implementar clústeres de GPU gestionados en entornos donde los proveedores de nube no ofrecen almacenamiento compartido. Esto amplía la gama de infraestructuras de proveedores que satisfacen sus requisitos operativos.
Resultados de producción reportados
Según Andromeda, los clústeres NeuralMesh Axon soportan un rendimiento agregado superior a 400 GB/s por clúster y superan los 6 millones de IOPS en implementaciones de producción. En una carga de trabajo biotecnológica que involucra conjuntos de datos con gran cantidad de metadatos, con aproximadamente mil millones de archivos por directorio, la plataforma redujo el tiempo de transferencia de datos de horas a minutos.
La empresa también informa que los equipos de IA que utilizan sus clústeres gestionados redujeron los tiempos de inicio del entorno de aproximadamente tres minutos a 30 segundos. Una inicialización más rápida del entorno puede aumentar el número de iteraciones de entrenamiento, prueba e inferencia que los equipos pueden ejecutar durante un ciclo de desarrollo.
NeuralMesh incluye capacidades de aislamiento de fallos para evitar que las fallas localizadas se propaguen por todo el clúster. Para los proveedores que operan entornos GPU multiusuario, esto ayuda a mantener la disponibilidad de las cargas de trabajo y a reducir el impacto operativo de las fallas de infraestructura.
Ampliación a través de una red global de computación de IA
El despliegue de WEKA se está expandiendo por toda la infraestructura global de Andromeda, incluyendo configuraciones de almacenamiento dedicadas y sistemas Axon nativos de GPU. Las compañías también planean extender la integración a las nuevas generaciones de infraestructura de IA a medida que Andromeda aumente su capacidad y cobertura de proveedores.
Para los proveedores de GPU gestionadas, esta implementación pone de manifiesto la creciente necesidad de una plataforma de datos de IA portátil . La capacidad de la GPU por sí sola no garantiza un rendimiento de IA predecible cuando el comportamiento del almacenamiento y los metadatos varía entre los proveedores. La estandarización de la capa de almacenamiento ayuda a mantener el rendimiento, las IOPS y los flujos de trabajo operativos en un conjunto distribuido de clústeres de GPU heterogéneos.
Amazon