Backblaze y WEKA han validado sus plataformas conjuntamente para pipelines de IA, combinando WEKA NeuralMesh como capa de rendimiento que alimenta las GPU con Backblaze B2 Cloud Storage como capa de capacidad que almacena el resto de los datos. La integración, el dimensionamiento, la optimización y las pruebas ya se han realizado, por lo que un equipo de infraestructura de IA puede implementar una arquitectura de dos niveles probada sin necesidad de desarrollarla ni certificarla por su cuenta. La certificación de B2 para NeuralMesh está en marcha, y ambas compañías afirman que los clientes pueden contactar con cualquiera de ellas para empezar de inmediato.
Dos niveles, un ciclo de vida de datos
Los datos brutos y no estructurados, es decir, los conjuntos de entrenamiento, las bibliotecas multimedia y los archivos fuente, se almacenan en B2. Cuando un conjunto de datos se integra en una tarea que requiere un alto rendimiento, NeuralMesh lo pone a disposición de los aceleradores y, desde allí, los envía. Una vez que un punto de control, una salida o cualquier otro recurso ya no necesita acceso de alto rendimiento, regresa a B2, donde puede reutilizarse en una ejecución posterior o recuperarse si una tarea debe volver a una etapa anterior. Las empresas lo describen como velocidad donde se encuentran las GPU y capacidad en el resto, con los datos moviéndose entre ambos a medida que cambia su patrón de acceso.
“Los equipos de IA necesitan alimentar sus GPU y contar con una infraestructura con el rendimiento y la capacidad necesarios para soportar todo el flujo de trabajo de datos de IA. WEKA ha dominado el nivel de rendimiento. Llevamos casi dos décadas haciendo lo mismo con el almacenamiento de capacidad”, afirmó Gleb Budman, CEO de Backblaze. Nilesh Patel, director de estrategia de WEKA, describió la misma presión desde la otra dirección: “Las cargas de trabajo de IA están exigiendo al almacenamiento en dos direcciones a la vez. Las GPU necesitan acceso a los datos en microsegundos para mantenerse alimentadas, mientras que los conjuntos de datos y los puntos de control crecen hasta alcanzar la escala de exabytes. Nuestra colaboración con Backblaze ofrece a los clientes una solución validada para ambos, sin el coste de desarrollar y probar esa integración por sí mismos”.
Prueba de ajuste a objetos realizada con B2
Otra característica interesante es Snap-to-Object de NeuralMesh, que, según las empresas, han probado con Backblaze. Snap-to-Object guarda una instantánea consistente del sistema de archivos de NeuralMesh en un almacén de objetos. Con B2 como destino, dicho almacén ocupa el mismo nivel de capacidad donde se almacenan los datos sin procesar y los puntos de control retirados. Para una ejecución de entrenamiento, esto significa que un equipo puede revertir a un punto de control o recuperar datos de inferencia guardados desde B2 sin improvisar una solución durante el proceso y sin mantener un destino independiente para las instantáneas. El efecto económico se traduce en un nivel de objetos en la nube detrás de NeuralMesh, cuyo precio se basa en la capacidad, y que almacena las instantáneas junto con los datos que protegen.
Backblaze ha estado posicionando a B2 como la capa de capacidad para la IA durante todo el año, desde la oferta de B2 Neo para plataformas neocloud hasta su programa de evaluación comparativa del rendimiento, y WEKA le proporciona un socio de nivel de rendimiento en el lado de la GPU.
Amazon