A Quantum atualizou sua plataforma de armazenamento de objetos ActiveScale, melhorando significativamente o acesso a dados inativos em camadas de arquivamento da classe Glacier. Esta atualização apresenta um recurso exclusivo de Restauração por Alcance para armazenamento inativo baseado em fita, utilizando o design patenteado de objeto em fita com codificação de apagamento da Quantum.
Juntamente com um novo mecanismo de restauração otimizado para o desempenho de objetos pequenos, essas mudanças transformam os arquivos em fita, antes um armazenamento lento e offline, em data lakes responsivos e acessíveis por API, prontos para IA, análises e computação de alto desempenho.
O ActiveScale agora permite que os clientes recuperem apenas os intervalos de bytes necessários de objetos grandes, em vez de reidratar um arquivo inteiro. Essa restauração seletiva altera a economia e a experiência do armazenamento a frio. Equipes que trabalham com treinamento de IA, validação de dados ou consultas de conformidade podem acessar os segmentos exatos de que precisam para concluir tarefas, sem as demoras e os custos de recursos associados à recuperação de objetos completos. Essa redução nos tempos de espera e no impacto da saída acelera os fluxos de trabalho e melhora a eficiência da infraestrutura em clusters de computação e redes. A Quantum observa que esta é uma extensão personalizada do S3 Glacier, exclusiva do ActiveScale, para armazenamento a frio baseado em fita, que resolve um problema antigo de usabilidade de arquivos.
O suporte ao Ranged Restore é um novo mecanismo de restauração que aumenta a taxa de transferência para operações com objetos pequenos em mais de cinco vezes, graças ao agrupamento inteligente e à ordenação de solicitações. Muitas tarefas de IA e análise exigem acesso de alto volume a arquivos pequenos, como fragmentos de rótulos, índices de recursos ou verificações de metadados de conformidade. Tradicionalmente, as camadas frias causavam atrasos nessas tarefas. Com as melhorias de desempenho do ActiveScale, as restaurações de objetos pequenos ocorrem mais rapidamente, permitindo ciclos de iteração mais rápidos, maior concorrência de tarefas e melhor utilização dos recursos de GPU e CPU. O efeito geral é uma camada fria que funciona mais como uma camada analítica ativa para recuperações direcionadas.
A liderança da Quantum apresenta a atualização como uma forma de aprimorar a extração de valor dos arquivos. Hugues Meyrath, CEO da Quantum, enfatiza que a questão principal não é se os arquivos irão crescer, mas sim a rapidez com que as organizações podem acessar os dados certos para treinamento e análise. Ele destaca que esperar horas ou dias pelos dados pode prejudicar a produtividade e aumentar os custos. Os novos recursos do ActiveScale tornam os arquivos grandes e de longo prazo mais acessíveis e prontos para IA em nível de exabyte.
Geoff Barrall, Diretor de Produtos, acrescenta que dados inativos não devem mais ser vistos como offline. Ao eliminar as limitações do armazenamento tradicional da classe Glacier, o ActiveScale transforma o armazenamento em fita em um recurso rápido e baseado em padrões, que pode ser consultado programaticamente e integrado a fluxos de trabalho de dados de alto desempenho.
A diferenciação baseia-se em três aspectos principais, incluindo:
- A recuperação seletiva em nível de intervalo de bytes reduz o tempo até o primeiro byte para objetos grandes e minimiza a movimentação desnecessária de dados, resultando em menores custos de saída, computação e energia.
- A melhoria no desempenho de objetos pequenos resolve um problema significativo em pipelines de IA e HPC, onde o acesso a milhões de arquivos pequenos historicamente entrava em conflito com a latência do armazenamento em camada de arquivamento.
- O projeto mantém a compatibilidade com S3, ao mesmo tempo que estende a semântica do Glacier de uma forma exclusiva da abordagem de objeto em fita da Quantum, permitindo que os clientes modernizem o acesso à camada fria sem precisar redesenhar seus aplicativos.
O núcleo do design de objetos em fita com codificação de apagamento do ActiveScale é crucial. A codificação de apagamento protege a durabilidade dos dados em diferentes mídias, permitindo o paralelismo durante as operações de restauração. Ao gerenciar de forma inteligente as leituras e ordenar as solicitações para otimizar o movimento da fita, o ActiveScale reduz a sobrecarga mecânica e transforma a mídia sequencial em uma camada utilizável para recuperação seletiva de alto rendimento. O resultado é uma camada fria que pode participar de pipelines em tempo real ou quase em tempo real, suportando tarefas de treinamento, preenchendo repositórios de recursos e atendendo a solicitações específicas de eDiscovery e conformidade, sem os custos operacionais tradicionais associados à fita.
Essas atualizações visam aumentar a produtividade em engenharia de dados e MLOps. Restaurações mais rápidas e direcionadas permitem que as equipes validem conjuntos de dados, executem novamente o treinamento com amostras atualizadas ou realizem auditorias com interrupção mínima dos trabalhos em andamento. Fluxos de trabalho que antes exigiam o armazenamento temporário de dados em uma camada ativa agora podem ignorar etapas intermediárias em muitos cenários, simplificando os pipelines e reduzindo a complexidade da infraestrutura. Para organizações que gerenciam arquivos de vários petabytes a exabytes, essa consolidação resulta em um custo total de propriedade menor, mantendo os custos de retenção de dados a longo prazo sob controle.
Do ponto de vista da governança e da gestão de riscos, tornar os arquivos "prontos para consulta" atende às crescentes expectativas de disponibilidade, linhagem e reprodutibilidade dos dados. Com acesso seletivo e maior capacidade de processamento, as empresas podem armazenar dados em uma camada fria com custo otimizado, mantendo a agilidade exigida por prazos internos, requisitos regulatórios e cronogramas de testes de IA. Essa abordagem também reduz o risco de recuperações indevidas, limitando a quantidade de dados acessados e, consequentemente, diminuindo a exposição a riscos de saída e simplificando o controle de acesso.
A Quantum considera que essas capacidades fortalecem a posição do ActiveScale como uma plataforma versátil e preparada para o futuro para dados frios. Ao transformar o armazenamento de arquivamento em uma camada rápida e seletivamente acessível, o ActiveScale permite que as empresas liberem o valor de seus dados, independentemente da idade ou do volume. A API compatível com Glacier da plataforma, juntamente com extensões exclusivas que reconhecem fitas, oferece uma maneira prática de integrar o armazenamento frio à IA e à análise de dados sem exigir a migração para outras plataformas.
Essas melhorias já estão disponíveis.
Amazon