Maulik Sompura, da KIOXIA, junta-se a Brian para uma discussão aprofundada e informativa sobre tudo relacionado a flash e outros eventos do setor. O tema é oportuno e relevante, dada a expansão massiva da IA e das cargas de trabalho modernas.
Maulik Sompura é Diretor Sênior de Planejamento e Gestão de Produtos na KIOXIA, com mais de 13 anos de experiência em NAND, memória e SSDs, incluindo os últimos seis anos na KIOXIA. Além disso, sua carreira inclui passagens pela Intel e Toshiba.
A conversa vai além do armazenamento e da memória, abordando temas como refrigeração líquida, hiperescaladores e formatos de computadores. Eles também discutem software de código aberto, novas fábricas de semicondutores, preocupações com a escalabilidade e o receio de outro evento de "auge e colapso" como o da Covid.
É uma conversa informativa que o levará a refletir sobre algo a longo prazo. Dividimos o podcast em segmentos de cinco minutos para que você possa acessar a seção mais relevante para você e seu contexto. No entanto, vale a pena assistir ao podcast completo.
Brian e Maulik iniciam a discussão abordando a evolução radical dos SSDs e do armazenamento flash, especialmente sob a pressão da IA e dos data centers de hiperescala.
0:00–5:00: Os hiperescaladores comandam o espetáculo discretamente
- Os portfólios de SSDs explodiram em complexidade: muitos formatos, níveis de resistência e categorias de desempenho.
- O boom da IA fez com que o armazenamento se tornasse a segunda prioridade mais importante, logo atrás das GPUs/HBM.
- Os provedores de hiperescala (Meta, Google, Amazon, etc.) ditam os requisitos detalhados de armazenamento e armazenamento, e esses projetos personalizados acabam moldando o que as empresas recebem.
- As especificações OCP ajudam a unificar e simplificar o caos, fornecendo a todos um alvo comum além do NVMe.
- A indústria está ativamente tentando reduzir o número de SKUs e convergir para formatos modernos como o E3, mesmo que formatos antigos ainda persistam.
5:00–10:00: Unidades de armazenamento E3, E2 e de classe Petabyte
- O formato E3 está se tornando o formato preferido para empresas que utilizam a tecnologia Gen6+, devido às suas melhores características de potência e térmicas.
- Os drives de 2.5 polegadas continuarão disponíveis por muitos anos devido aos longos ciclos de vida dos produtos, mas os novos designs estão migrando para o formato EDSFF.
- O E2 é um SSD de formato maior, com foco na capacidade, considerado um verdadeiro substituto para discos rígidos em capacidades extremas.
- Com o empilhamento avançado de memória NAND, uma única unidade E2 poderia eventualmente atingir 1 PB.
- Os provedores de hiperescala mitigam os riscos de unidades gigantes usando fragmentação (sharding), codificação de apagamento (erasure encoding) e análise preditiva; os tempos de reconstrução para SSDs enormes ainda são muito melhores do que para HDDs grandes.
10:00–15:00: O resfriamento líquido chega também aos SSDs.
- Os sistemas de treinamento de IA estão impulsionando a adoção generalizada do resfriamento líquido, e isso agora se estende até o armazenamento.
- Os SSDs no formato E3 estão sendo redesenhados para contato direto com placas frias (planicidade da superfície, materiais e detalhes do conector).
- Os SSDs Gen5 com refrigeração líquida abrirão caminho para a Gen6, onde o consumo de energia e a geração de calor serão ainda maiores.
- As empresas estão cautelosas quanto à introdução de água nos centros de dados, mas o aumento dos custos de energia e da densidade de GPUs tornará o resfriamento líquido cada vez mais difícil de evitar.
15:00–20:00: Armazenamento de IA: Capacidade, Desempenho e Tensão do Tecido
- A IA impulsiona o armazenamento em dois eixos: capacidade massiva e desempenho muito alto.
- O disco rígido de 245 TB da KIOXIA (com stacks QLC de 32 camadas) é voltado para data lakes e grandes repositórios, não apenas para cargas de trabalho genéricas.
- Dentro de um computador moderno, o armazenamento pode atingir velocidades de 250 a 280 GB/s; o gargalo está cada vez mais na infraestrutura de rede, e não nos discos rígidos.
- Os provedores de hiperescala estão correndo para adotar o 400/800 GbE e placas de rede/DPUs mais inteligentes, enquanto os clientes de médio porte têm dificuldades para acompanhar esse nível de investimento em infraestrutura.
- Bancos de dados tradicionais e Fibre Channel permanecem, mas bancos de dados vetoriais e armazenamentos de dados centrados em IA estão entrando em cena.
20:00–25:00: Software mais inteligente e um verdadeiro superciclo Flash
- A KIOXIA não está apenas enviando unidades de disco, mas também investindo em software (por exemplo, ISAAC) para reduzir as necessidades de HBM/DRAM, preservando o desempenho de IA.
- A estratégia é holística: melhorar o custo e a eficiência em nível de sistema, e não apenas por meio de memória NAND mais rápida.
- Novas fábricas de semicondutores, como a Kitakami (K2), estão aumentando a produção, mas os fornecedores estão cautelosos após os ciclos de expansão e recessão da era da Covid, que custaram ao setor cerca de US$ 30 bilhões.
- A miniaturização da tecnologia NAND (mais camadas, litografia mais fina) está se tornando mais cara e acelerada, de modo que a oferta aumentará, mas de forma controlada.
- Muitos veem isso como um "superciclo" de vários anos impulsionado pela IA e pelo crescimento de dados, e não apenas uma recuperação repentina normal de 1 a 2 anos.
25:00 – Fim: IA em todos os lugares, Flash vs. HDD e aprendizado com HPC
- Os dados continuam a crescer e raramente são apagados; a IA está a chegar a todos os locais onde esses dados se encontram, incluindo a borda da cadeia de dados, as cópias de segurança e as camadas secundárias.
- Os SSDs de alta capacidade podem fornecer cerca de 100 PB por rack, em comparação com vários racks de HDDs para a mesma capacidade, com desempenho e eficiência muito superiores.
- O desempenho dos HDDs não escala com a capacidade; os SSDs oferecem IOPS/GB e taxa de transferência ordens de magnitude melhores, melhorando o TCO e favorecendo o uso de memória flash em larga escala.
- Eventos como OCP e Supercomputing (SC) são onde o futuro se torna visível primeiro: racks amplos, barramentos de 800V, sistemas de refrigeração exóticos e projetos de energia inovadores.
- As inovações em hiperescala e computação de alto desempenho (HPC) estão moldando de forma constante a aparência dos servidores e data centers empresariais "normais", com foco em resiliência e eficiência.
Amazon