Quantum ha actualizado su plataforma de almacenamiento de objetos ActiveScale, mejorando significativamente el acceso a los datos inactivos en los niveles de archivo de clase Glacier. Esta actualización incluye una función exclusiva de restauración por rangos para el almacenamiento inactivo en cinta, mediante el diseño patentado de Quantum de objetos en cinta con codificación de borrado.
Junto con un nuevo motor de restauración optimizado para el rendimiento de objetos pequeños, estos cambios transforman los archivos en cinta, pasando de un almacenamiento lento y sin conexión a servicios de almacenamiento en lagos de datos receptivos y accesibles mediante API, preparados para la IA, el análisis y la computación de alto rendimiento.
ActiveScale ahora permite a los clientes recuperar únicamente los rangos de bytes que necesitan de objetos grandes, en lugar de rehidratar un archivo completo. Esta restauración selectiva transforma la economía y la experiencia del almacenamiento en frío. Los equipos que trabajan en entrenamiento de IA, validación de datos o consultas de cumplimiento pueden acceder a los segmentos exactos que necesitan para completar sus tareas sin las demoras ni los costos de recursos asociados con la recuperación de objetos completos. Esta reducción en los tiempos de espera y el impacto en la salida de datos agiliza los flujos de trabajo y mejora la eficiencia de la infraestructura en clústeres de computación y redes. Quantum señala que se trata de una extensión personalizada de S3 Glacier, exclusiva de ActiveScale, para almacenamiento en frío basado en cinta, que resuelve un problema de larga data en la usabilidad de los archivos.
La compatibilidad con Ranged Restore es un nuevo motor de restauración que quintuplica el rendimiento de las operaciones con objetos pequeños gracias al procesamiento por lotes inteligente y la priorización de solicitudes. Muchas tareas de IA y análisis requieren acceso a grandes volúmenes de archivos pequeños, como fragmentos de etiquetas, índices de características o análisis de metadatos de cumplimiento. Tradicionalmente, las capas de almacenamiento en frío provocaban retrasos en estas tareas. Con las mejoras de rendimiento de ActiveScale, las restauraciones de objetos pequeños se realizan más rápidamente, lo que permite ciclos de iteración más veloces, mayor concurrencia de trabajos y una mejor utilización de los recursos de GPU y CPU. El resultado es una capa de almacenamiento en frío que funciona como una capa analítica en caliente para recuperaciones específicas.
El equipo directivo de Quantum presenta la actualización como una forma de optimizar la extracción de valor de los archivos. Hugues Meyrath, CEO de Quantum, destaca que la clave no reside en si los archivos crecerán, sino en la rapidez con que las organizaciones pueden acceder a los datos adecuados para la formación y el análisis. Señala que esperar horas o días para obtener datos puede perjudicar la productividad y aumentar los costes. Las nuevas funciones de ActiveScale hacen que los archivos grandes y de larga duración sean más accesibles y estén preparados para la IA a nivel de exabytes.
Geoff Barrall, director de producto, añade que los datos inactivos ya no deben considerarse fuera de línea. Al eliminar las limitaciones del almacenamiento tradicional de tipo Glacier, ActiveScale transforma el almacenamiento en cinta en un recurso rápido y estandarizado que permite realizar consultas mediante programación e integrarlo en flujos de trabajo de datos de alto rendimiento.
La diferenciación se basa en tres aspectos principales, que incluyen:
- La recuperación selectiva a nivel de rango de bytes reduce el tiempo hasta el primer byte para objetos grandes y minimiza el movimiento innecesario de datos, lo que resulta en menores costos de salida, computación y energía.
- La mejora en el rendimiento de objetos pequeños aborda un punto crítico importante en los flujos de trabajo de IA y HPC, donde el acceso a millones de archivos pequeños históricamente ha entrado en conflicto con la latencia del almacenamiento de nivel de archivo.
- El diseño mantiene la compatibilidad con S3 al tiempo que extiende la semántica de Glacier de una manera única gracias al enfoque de objetos en cinta de Quantum, lo que permite a los clientes modernizar el acceso a la capa fría sin rediseñar sus aplicaciones.
El núcleo del diseño de ActiveScale para objetos en cinta con codificación de borrado es crucial. La codificación de borrado protege la durabilidad de los datos en diferentes medios, a la vez que permite el paralelismo durante las operaciones de restauración. Al gestionar de forma inteligente las lecturas y ordenar las solicitudes para optimizar el movimiento de la cinta, ActiveScale reduce la sobrecarga mecánica y convierte los medios secuenciales en una capa utilizable para la recuperación selectiva de alto rendimiento. El resultado es una capa de almacenamiento en frío que puede participar en flujos de trabajo en tiempo real o casi real, admitiendo tareas de entrenamiento, rellenando almacenes de características y satisfaciendo las solicitudes específicas de eDiscovery y cumplimiento normativo sin los costes operativos tradicionales asociados a la cinta.
Estas actualizaciones buscan aumentar la productividad en ingeniería de datos y MLOps. Las restauraciones más rápidas y específicas permiten a los equipos validar conjuntos de datos, volver a ejecutar el entrenamiento con muestras actualizadas o realizar auditorías con una mínima interrupción de los trabajos en curso. Los flujos de trabajo que antes requerían almacenar datos en un nivel intermedio ahora pueden omitir pasos intermedios en muchos casos, lo que optimiza los procesos y reduce la complejidad de la infraestructura. Para las organizaciones que gestionan archivos de varios petabytes a exabytes, esta consolidación reduce el costo total de propiedad y mantiene los costos de retención de datos a largo plazo bajo control.
Desde la perspectiva de la gobernanza y la gestión de riesgos, la creación de archivos con capacidad de consulta satisface las crecientes expectativas en cuanto a disponibilidad, trazabilidad y reproducibilidad de los datos. Gracias al acceso selectivo y a un mayor rendimiento, las empresas pueden almacenar datos en una capa de almacenamiento en frío rentable, cumpliendo a la vez con la capacidad de respuesta exigida por los plazos internos, los requisitos normativos y los cronogramas de pruebas de IA. Este enfoque también reduce el riesgo de recuperaciones al limitar la cantidad de datos a los que se accede, lo que disminuye la exposición a fugas de datos y simplifica el control de acceso.
Quantum considera que estas capacidades fortalecen la posición de ActiveScale como una plataforma versátil y preparada para el futuro para datos inactivos. Al transformar el almacenamiento de nivel de archivo en una capa rápida y de acceso selectivo, ActiveScale permite a las empresas aprovechar el valor de sus datos, independientemente de su antigüedad o volumen. La API de la plataforma, compatible con Glacier, junto con extensiones exclusivas para cintas, proporciona una forma práctica de integrar el almacenamiento inactivo en la IA y el análisis sin necesidad de migrar a otras plataformas.
Estas mejoras ya están disponibles.
Amazon