A IBM continua a evoluir sua plataforma Storage Scale System 6000 para solucionar um problema comum em data centers modernos: silos de dados que atrasam iniciativas de IA, aumentam a complexidade da infraestrutura e retêm informações valiosas. Ao unificar dados na borda, no núcleo e na nuvem por meio de um único namespace global e do Active File Management (AFM), a plataforma oferece soluções que permitem a integração de dados em ambientes de ponta, núcleo e nuvem. Sistema de balança de armazenamento 6000 Foi projetada para fornecer às organizações uma plataforma de dados consistente e de alto desempenho que possa alimentar GPUs e CPUs em escala. O resultado é uma base de armazenamento que permite que os pipelines de IA sejam iniciados imediatamente e entreguem resultados mais rapidamente, em vez de esperar pelas limitações de armazenamento legado.
As atualizações mais recentes se concentram em dois temas prioritários para as organizações atualmente: desbloquear dados ocultos e eliminar gargalos na inferência e no treinamento de IA. A IBM aborda essas prioridades com um novo gabinete de expansão totalmente em flash, suporte para mídias NVMe QLC de alta capacidade e uma pilha de software atualizada que visa tanto o desempenho quanto a eficiência. Juntas, essas mudanças posicionam o Storage Scale System 6000 como uma plataforma de armazenamento densa, escalável e pronta para IA, adequada para ambientes corporativos, de computação de alto desempenho (HPC) e de IA como serviço.
Capacidade em nível de rack triplicada com memória flash QLC de alta densidade
Com seus aprimoramentos mais recentes, a IBM triplicou a capacidade máxima do Storage Scale System 6000 para 47 PB por rack. Esse aumento se deve ao suporte para SSDs NVMe QLC padrão do setor em configurações de 30 TB, 60 TB e 122 TB. Os clientes ganham mais flexibilidade na escolha do tipo de mídia mais adequado às necessidades de suas cargas de trabalho, desde camadas com foco em desempenho até repositórios de IA orientados à capacidade.
A expansão das opções de armazenamento é especialmente relevante para pipelines de IA e análise que precisam armazenar e processar conjuntos de dados massivos sem fragmentá-los em vários silos ou plataformas. Ao consolidar a capacidade em um único namespace global, o Storage Scale System 6000 ajuda a reduzir a sobrecarga de gerenciamento, mantendo o desempenho necessário para cargas de trabalho com uso intensivo de GPUs.
IBM Storage Scale System 7.0.0: Aprimoramentos de software para IA e serviços de dados
O lançamento do software IBM Storage Scale System 7.0.0 introduz diversas melhorias importantes para aprimorar a eficiência, o desempenho e a resiliência do gerenciamento de dados em ambientes com cargas de trabalho mistas.
Em primeiro lugar, a plataforma agora suporta armazenamento em camadas com múltiplas unidades flash NVMe TLC e QLC padrão do setor, dentro do mesmo sistema. Essa capacidade permite que as organizações alinhem custo, desempenho e resistência aos perfis de carga de trabalho. Dados acessados com frequência ou sensíveis à latência podem ser mantidos em camadas baseadas em TLC, enquanto conjuntos de dados menos acessados ou focados em capacidade podem residir em mídias QLC de alta densidade. O modelo de armazenamento em camadas oferece uma maneira mais granular de otimizar o custo total de propriedade (TCO), mantendo um desempenho previsível.
Em segundo lugar, a IBM introduziu uma camada dedicada de aceleração de dados que utiliza NVMe-oF de alto desempenho para alimentar aplicações em grande escala. Essa camada pode fornecer até 340 GB/s de throughput e até 28 milhões de IOPS. Ela foi projetada para alta eficiência de compressão e densidade de dados, consumindo menos energia por unidade de desempenho. Para equipes de IA e HPC que precisam manter seus recursos computacionais dispendiosos totalmente utilizados, essa camada de aceleração é particularmente valiosa para minimizar o tempo ocioso da GPU causado por gargalos de armazenamento.
Em terceiro lugar, a estrutura de proteção de dados foi aprimorada com opções mais abrangentes de codificação de apagamento, incluindo suporte para configurações 16+2/3P. Esses códigos mais abrangentes melhoram a eficiência do disco e a utilização geral do armazenamento, além de aumentar o desempenho e a taxa de transferência de gravação. O resultado é um esquema de proteção de dados que se adapta ao aumento da capacidade e da taxa de transferência da plataforma, em vez de se tornar um gargalo.
Por fim, a pilha de software integra-se com a rede Ethernet NVIDIA Spectrum-X para acelerar os fluxos de trabalho de treinamento de IA. O Spectrum-X pode reduzir significativamente o tempo de checkpoint durante o treinamento do modelo básico de IA, resultando em ciclos de treinamento mais curtos e melhor utilização da infraestrutura. Para ambientes de treinamento em larga escala, essa é uma ferramenta prática para reduzir o tempo necessário para obter insights, mantendo uma estrutura baseada em Ethernet.
Gabinete de expansão totalmente flash
Para atender às demandas de cargas de trabalho que operam em conjuntos de dados massivos, a IBM lançou o IBM Storage Scale System All-Flash Expansion Enclosure. Este gabinete é otimizado para treinamento de IA de alto desempenho, inferência, HPC e outras cargas de trabalho com uso intensivo de dados que exigem alta taxa de transferência e grandes conjuntos de dados contíguos.
Ao incorporar SSDs NVMe QLC de 122 TB, o Storage Scale System 6000 com o Gabinete de Expansão All-Flash oferece mais de 47 PB de capacidade flash de alta densidade e baixo custo em um único rack de 42U. Para organizações que buscam construir fábricas de IA ou clusters HPC de grande escala, isso proporciona um caminho claro para consolidar o armazenamento em uma área menor sem sacrificar o desempenho.
O gabinete também foi projetado para integrar-se com as DPUs NVIDIA BlueField-3 para aceleração em escala. Os adaptadores de rede da solução podem fornecer até 400 Gb/s de throughput de rede de alto desempenho, juntamente com recursos de descarregamento NVMe-oF para o Storage Scale System. Esse descarregamento reduz a sobrecarga da CPU, permitindo que mais recursos do host sejam direcionados para IA, análises ou processamento HPC em vez de armazenamento e gerenciamento de protocolos.
Cada gabinete de expansão oferece até 100 GB/s de throughput e mais de 3 PB de capacidade flash bruta em um formato 2U. Essa densidade e perfil de desempenho o tornam ideal para ambientes onde o espaço em rack, a energia e o resfriamento são extremamente limitados, mas as expectativas de desempenho são imprescindíveis.
A caixa pode suportar até 4 NVIDIA BlueField-3 DPUs e até 26 portas duplas SSDs QLC. Essa combinação possibilita alta largura de banda agregada, diversas opções de conectividade e escalabilidade flexível tanto da capacidade quanto da aceleração de descarregamento à medida que as cargas de trabalho aumentam.
Casos de uso de multilocação e provedores de serviços
A escalabilidade do novo Gabinete de Expansão All-Flash também está alinhada com configurações de cache maiores e com os requisitos de provedores de serviços multilocatários. O IBM Storage Scale System 6000 oferece suporte a multilocação altamente configurável em nível de cluster, sistema de arquivos ou conjunto de arquivos.
Para provedores de serviços e grandes fábricas de IA, esse design fornece as ferramentas para isolar cargas de trabalho, aplicar políticas de segurança diferenciadas e alocar recursos com precisão para clientes ou unidades de negócios internas. O isolamento pode ser implementado sem sacrificar o desempenho ou complicar o modelo operacional.
Seja um grande ambiente de supercomputação, um cluster HPC tradicional ou uma plataforma de IA como serviço, essa arquitetura foi projetada para suportar operações multilocatárias seguras, escaláveis e com boa relação custo-benefício. Diversas cargas de trabalho com uso intensivo de dados podem coexistir na mesma infraestrutura, atendendo aos requisitos de conformidade, desempenho e nível de serviço.
Habilitando IA em escala, ao mesmo tempo que se mantém a capacidade de lidar com as cargas de trabalho existentes.
As equipes de infraestrutura de TI estão sob pressão para escalar iniciativas de IA, ao mesmo tempo que continuam a dar suporte às cargas de trabalho corporativas existentes e aos aplicativos legados. O IBM Storage Scale System 6000 aprimorado foi projetado para atender a ambos os requisitos com uma única plataforma.
Ao unificar dados em diferentes protocolos, locais e formatos, o sistema permite que equipes globalmente dispersas colaborem diretamente em dados compartilhados, sem precisar copiá-los ou armazená-los em ambientes separados. O AFM, camada global de cache e orquestração de dados da IBM, agora consegue armazenar em cache conjuntos de dados de trabalho muito maiores mais próximos das GPUs, graças à capacidade triplicada e às opções expandidas de gabinetes. Essa proximidade ajuda a eliminar silos de dados e reduz a sobrecarga de movimentação de dados, resultando em pipelines de IA mais rápidos e eficientes.
Em vez de manter silos de armazenamento separados para cargas de trabalho tradicionais e IA, as organizações podem padronizar o Storage Scale System 6000 como um plano de dados comum. Essa abordagem simplifica as operações, oferece suporte a uma ampla gama de protocolos e métodos de acesso e ainda proporciona o desempenho necessário para fluxos de trabalho modernos de IA e HPC.
Disponibilidade
O software IBM Storage Scale System 7.0.0 estará disponível em 9 de dezembro. A disponibilidade geral do novo IBM Storage Scale System All-Flash Expansion Enclosure será em 12 de dezembro.
Amazon