A Pure Storage apresentou o FlashBlade//EXA, considerado a plataforma de armazenamento de dados de mais alto desempenho do setor, projetada para gerenciar as cargas de trabalho de IA e computação de alto desempenho (HPC) mais exigentes. Esta nova oferta, construída na arquitetura comprovada do FlashBlade, elimina gargalos de metadados que historicamente restringiam o potencial da IA. Projetado para alta simultaneidade e hábil em lidar com as extensas demandas de metadados típicas de IA e HPC em larga escala, o FlashBlade//EXA foi projetado para fornecer mais de 10 terabytes por segundo de desempenho de leitura em um único namespace, estabelecendo um novo padrão de desempenho.
A arquitetura fundamental do FlashBlade//EXA dimensiona dados e metadados de forma independente. As organizações podem atingir expansão quase ilimitada e desempenho multidimensional utilizando nós de dados de terceiros prontamente disponíveis. Além disso, sua dependência de protocolos padrão e padrões de rede simplifica os processos de implantação, gerenciamento e dimensionamento, tornando-o um ajuste direto para vários ambientes empresariais.
Impulsionando uma mudança de paradigma no armazenamento
À medida que as GPUs se tornam cada vez mais poderosas, acelerando o treinamento de grandes modelos de IA, os sistemas de armazenamento de dados devem se adaptar às crescentes demandas de intensidade computacional, volume de dados e diversidade de dados. Soluções de armazenamento tradicionais, projetadas inicialmente para cargas de trabalho HPC previsíveis, muitas vezes ficam aquém em áreas críticas para IA moderna, como leituras e gravações simultâneas, desempenho de metadados, baixa latência e checkpointing assíncrono.
Rob Lee, Chief Technology Officer da Pure Storage, ressaltou a importância de uma solução que dimensione dados e metadados de forma independente. Ele enfatizou que a arquitetura massivamente paralela do FlashBlade//EXA oferece desempenho, escalabilidade e adaptabilidade inigualáveis, observando que o armazenamento de próxima geração agora pode impulsionar ativamente a evolução do HPC e da IA em larga escala.
Uma solução de armazenamento verdadeiramente moderna deve oferecer um design desagregado e paralelo para acelerar a IA em escala de forma eficaz. As organizações podem adicionar recursos sem esforço para acompanhar a rápida e contínua transformação da IA, afastando-se de uma abordagem única para todos.
Então o que são metadados e por que eles são importantes?
Metadados referem-se às informações sobre dados armazenados que ajudam em sua identificação, categorização, acessibilidade e recuperação. Em matrizes de gerenciamento e armazenamento de dados, metadados incluem detalhes críticos como nomes de arquivos, tamanhos, datas de criação, permissões e locais dentro do sistema de armazenamento. À medida que os sistemas de armazenamento escalam e os conjuntos de dados crescem, o volume de metadados também aumenta significativamente. Sem um gerenciamento eficiente de metadados, esse crescimento pode levar a gargalos de desempenho, recuperação de dados mais lenta e maior latência. Isso é particularmente problemático para cargas de trabalho de IA e HPC que exigem acesso rápido e simultâneo a conjuntos de dados massivos. O manuseio eficaz de metadados é, portanto, crucial para manter alto desempenho, confiabilidade e eficiência em ambientes de armazenamento em larga escala.
Uma arquitetura moderna para cargas de trabalho de IA e HPC
Tecnologias de armazenamento de alto desempenho legadas foram desenvolvidas para lidar com cargas de trabalho HPC previsíveis focadas em dimensionamento de desempenho bruto. Em contraste, as tarefas de IA de hoje exigem o processamento de vários tipos de dados — texto, imagens e vídeo — em paralelo em dezenas de milhares de GPUs. Essa mudança exige arquiteturas que otimizem metadados enquanto fornecem desempenho significativo para gerenciar simultaneidade substancial de forma eficiente.
O FlashBlade//EXA aborda esses requisitos com um design desagregado e altamente paralelo que visa o desempenho e o dimensionamento de metadados. Essa abordagem ajuda as empresas a se adaptarem aos crescentes modelos de IA multimodais, melhorar a confiabilidade e reduzir os tempos ociosos. Para otimizar ainda mais as cargas de trabalho de IA e HPC, o FlashBlade//EXA integra NICs NVIDIA ConnectX de alta velocidade, switches Spectrum, cabos LinkX e bibliotecas de comunicações aceleradas, garantindo movimentação de dados contínua e desempenho de baixa latência para treinamento e inferência em larga escala. Como resultado, as organizações podem acelerar o treinamento e a inferência, maximizar a utilização da GPU e reduzir o tempo geral para insight. Além disso, ao emparelhar o mecanismo de metadados da Pure Storage e o sistema operacional Purity com nós de dados de commodities econômicos, as empresas podem atingir uma relação preço-desempenho de destaque que atende às demandas de projetos de IA em larga escala.
Principais capacidades do FlashBlade//EXA
Desempenho líder do setor em escala
O FlashBlade//EXA aproveita a vasta experiência da Pure Storage em otimização de metadados para maximizar a eficiência do pipeline para treinamento e inferência de IA. De acordo com testes preliminares, ele pode fornecer mais de 10 terabytes por segundo de desempenho de leitura em um único namespace, definindo um novo limite de desempenho do setor. Essa capacidade é impulsionada por processamento massivamente paralelo e IOPS de metadados escaláveis, permitindo que as organizações atendam aos requisitos de IA de alta velocidade perfeitamente.
Complexidade de gestão reduzida
Ao remover gargalos de metadados, o FlashBlade//EXA aborda um dos maiores desafios em cargas de trabalho de IA: lidar eficientemente com conjuntos de dados massivos. Alto desempenho, disponibilidade e resiliência de metadados permitem que as implantações de IA sejam executadas sem ajuste manual ou configuração especializada. Como resultado, as empresas se beneficiam de menos obstáculos operacionais ao gerenciar conjuntos de dados em larga escala ou em rápida evolução.
Inovação acelerada em IA
A arquitetura desagregada do FlashBlade//EXA é altamente configurável e integra-se com protocolos padrão da indústria, incluindo bibliotecas de comunicações aceleradas da NVIDIA, para permitir treinamento e inferência de IA de alta largura de banda. Essa integração profunda garante que as empresas maximizem a utilização da GPU, mantendo a flexibilidade para dimensionar cargas de trabalho de IA de forma eficiente. Esse design promove uma evolução perfeita dentro do cenário de IA e HPC, garantindo que as organizações possam se adaptar rapidamente a novos tipos de dados, aplicativos inovadores e modelos emergentes sem comprometer o desempenho ou a confiabilidade.
Disponibilidade
FlashBlade//EXA está previsto para ser lançado no verão de 2025.
Amazon