Quantum a mis à jour sa plateforme de stockage d'objets ActiveScale, améliorant considérablement l'accès aux données froides dans les niveaux d'archivage de classe Glacier. Cette mise à jour inclut une fonctionnalité exclusive de restauration à distance pour le stockage à froid sur bande, grâce à la technologie brevetée d'objets sur bande à codage d'effacement de Quantum.
Grâce à un nouveau moteur de restauration optimisé pour les performances des petits objets, ces changements transforment les archives sur bande, auparavant un stockage lent et hors ligne, en lacs de données réactifs et accessibles via API, prêts pour l'IA, l'analyse et le calcul haute performance.
ActiveScale permet désormais aux clients de récupérer uniquement les plages d'octets nécessaires à partir d'objets volumineux, au lieu de réhydrater un fichier entier. Cette restauration sélective révolutionne l'économie et l'expérience du stockage à froid. Les équipes travaillant sur l'entraînement d'IA, la validation de données ou les requêtes de conformité peuvent accéder aux segments précis dont elles ont besoin pour accomplir leurs tâches, sans les délais et les coûts de ressources associés à la récupération de l'objet complet. Cette réduction des temps d'attente et de l'impact sur les sorties accélère les flux de travail et améliore l'efficacité de l'infrastructure sur les clusters de calcul et les réseaux. Quantum précise qu'il s'agit d'une extension S3 Glacier personnalisée, exclusive à ActiveScale, pour le stockage à froid sur bande, qui résout un problème de longue date en matière d'utilisation des archives.
La restauration par plage est un nouveau moteur qui multiplie par plus de cinq le débit des opérations sur les petits objets grâce au traitement par lots intelligent et à l'ordonnancement des requêtes. De nombreuses tâches d'IA et d'analyse nécessitent un accès fréquent à de petits fichiers, tels que les fragments d'étiquettes, les index de fonctionnalités ou les analyses de métadonnées de conformité. Traditionnellement, les couches froides entraînaient des délais pour ces tâches. Grâce aux améliorations de performance d'ActiveScale, les restaurations de petits objets sont plus rapides, ce qui permet des cycles d'itération plus courts, une concurrence accrue des tâches et une meilleure utilisation des ressources GPU et CPU. Au final, la couche froide fonctionne davantage comme une couche analytique chaude pour les extractions ciblées.
La direction de Quantum présente cette mise à jour comme un moyen d'optimiser l'extraction de valeur des archives. Hugues Meyrath, PDG de Quantum, souligne que l'enjeu principal n'est pas la croissance des archives, mais la rapidité avec laquelle les organisations peuvent accéder aux données pertinentes pour la formation et l'analyse. Il précise qu'attendre des heures, voire des jours, pour obtenir des données peut nuire à la productivité et augmenter les coûts. Les nouvelles fonctionnalités d'ActiveScale rendent les archives volumineuses et à long terme plus accessibles et compatibles avec l'IA à l'échelle de l'exaoctet.
Geoff Barrall, directeur des produits, ajoute que les données froides ne doivent plus être considérées comme hors ligne. En s'affranchissant des limitations du stockage traditionnel de type Glacier, ActiveScale transforme le stockage sur bande en une ressource rapide et conforme aux normes, interrogeable par programmation et intégrable aux flux de travail de données à haut débit.
La différenciation repose sur trois aspects principaux, notamment :
- La récupération sélective au niveau de la plage d'octets réduit le temps d'accès au premier octet pour les objets volumineux et minimise les déplacements de données inutiles, ce qui entraîne une réduction des coûts de sortie, de calcul et d'énergie.
- L'amélioration des performances des petits objets résout un problème majeur dans les pipelines d'IA et de HPC, où l'accès à des millions de petits fichiers s'est historiquement heurté à la latence du stockage d'archives.
- La conception maintient la compatibilité S3 tout en étendant la sémantique Glacier d'une manière unique à l'approche objet sur bande de Quantum, permettant aux clients de moderniser l'accès à froid sans repenser leurs applications.
Le cœur de la conception d'objets sur bande à codage d'effacement d'ActiveScale est crucial. Ce codage garantit la durabilité des données sur différents supports tout en permettant le parallélisme lors des opérations de restauration. En gérant intelligemment les lectures et en ordonnant les requêtes pour optimiser le déplacement de la bande, ActiveScale réduit les coûts mécaniques et transforme les supports séquentiels en une couche utilisable pour une récupération sélective à haut débit. Il en résulte une couche froide capable de participer à des pipelines en temps réel ou quasi réel, prenant en charge les tâches d'entraînement, alimentant les bases de données de fonctionnalités et répondant aux demandes ciblées d'eDiscovery et de conformité, sans les coûts opérationnels traditionnellement associés à la bande magnétique.
Ces mises à jour visent à accroître la productivité en ingénierie des données et en MLOps. Des restaurations plus rapides et ciblées permettent aux équipes de valider des jeux de données, de relancer des entraînements avec des échantillons mis à jour ou de réaliser des audits avec un minimum d'interruptions pour les tâches en cours. Les flux de travail qui nécessitaient auparavant le stockage temporaire des données peuvent désormais s'affranchir d'étapes intermédiaires dans de nombreux cas, ce qui simplifie les pipelines et allège l'infrastructure. Pour les organisations gérant des archives de plusieurs pétaoctets à plusieurs exaoctets, cette consolidation se traduit par un coût total de possession inférieur tout en maîtrisant les coûts de conservation des données à long terme.
Du point de vue de la gouvernance et de la gestion des risques, rendre les archives accessibles par requête répond aux exigences croissantes en matière de disponibilité, de traçabilité et de reproductibilité des données. Grâce à un accès sélectif et à un débit amélioré, les entreprises peuvent stocker leurs données dans un environnement de stockage à froid économique, tout en respectant les délais internes, les exigences réglementaires et les calendriers de tests d'IA. Cette approche réduit également le risque de récupération de données en limitant la quantité de données consultées, ce qui diminue l'exposition aux données sortantes et simplifie le contrôle d'accès.
Quantum considère ces fonctionnalités comme un atout majeur pour ActiveScale, une plateforme polyvalente et pérenne pour les données froides. En transformant le stockage d'archives en une couche rapide et sélectivement accessible, ActiveScale permet aux entreprises d'exploiter pleinement la valeur de leurs données, quels que soient leur ancienneté et leur volume. L'API compatible Glacier de la plateforme, associée à des extensions uniques prenant en charge les bandes magnétiques, offre une solution pratique pour intégrer le stockage froid à l'IA et à l'analytique sans avoir à changer de plateforme.
Ces améliorations sont disponibles dès maintenant.
Amazon