A Sandisk e a SK hynix lançaram a primeira especificação técnica de HBF (High Bandwidth Flash) por meio do Open Compute Project, seis meses após as duas empresas formarem o grupo de trabalho HBF em fevereiro. O Google e a Tenstorrent se juntaram ao consórcio durante o processo de padronização, e a especificação agora está disponível para qualquer empresa que projete sistemas de inferência de IA ou aceleradores.
HBF é uma solução baseada em NAND para um problema da DRAM. A inferência de IA exige memória de alta largura de banda próxima ao processamento, mas a capacidade da HBM é limitada e cara, enquanto o tamanho dos modelos e das janelas de contexto continua crescendo. O HBF se posiciona entre esses dois extremos: pilhas baseadas em flash que trocam parte da velocidade da HBM por capacidade e persistência muito maiores, oferecendo aos projetistas de sistemas uma camada para pesos de modelos e dados de contexto extensos que não cabem mais na DRAM, mas não podem ser armazenados em um SSD.
A especificação apresenta números concretos que comprovam o conceito. Segundo a SK hynix, os stacks HBF vêm em configurações NAND de 8 e 16 camadas, com até 512 GB por stack, e três níveis de desempenho que variam de 0.4 TB/s a 3.0 TB/s, conectados pelo padrão UCIe. O documento define a interface host xPU-HBF, diretrizes elétricas, expectativas de desempenho básico, orientações de confiabilidade e encapsulamento para um stack de chip HBF, além de um guia do usuário para operações de leitura e gravação. As empresas projetaram a especificação para que o HBF possa coexistir com o HBM no mesmo sistema, em vez de substituí-lo.
A Sandisk e a SK hynix são explícitas quanto à estratégia: publicar cedo e abertamente por meio do OCP para posicionar o HBF como o padrão de fato para o mercado de armazenamento de IA antes que os concorrentes definam uma alternativa. "A inferência de IA está criando um novo conjunto de requisitos de memória, e a tecnologia HBF foi projetada para atender a esse momento", disse Alper Ilkbahar, diretor de tecnologia da Sandisk, chamando a especificação de um marco "para a próxima geração de sistemas de IA criados para melhorar a economia de tokens em escala". O cálculo da capacidade é o mesmo que impulsiona o descarregamento do cache KV para flash : manter o contexto em uma camada mais barata e densa aumenta a quantidade de tokens e usuários que cada acelerador pode atender.
BiCS10 QLC reivindica o título de mais denso.
O outro anúncio da Sandisk para o FMS veio em parceria com a Kioxia: o BiCS10 QLC, a décima geração de NAND 3D de quatro níveis (QLC) da dupla. As empresas afirmam que o novo chip oferece um aumento de 60% na densidade de bits em relação à oitava geração de QLC e, com mais de 37 Gb/mm², a maior densidade de bits do setor para NAND QLC. Ele possui as mesmas 332 camadas ativas do chip BiCS10 TLC, que começou a ser distribuído em julho , e é fabricado com o mesmo processo CBA (CMOS diretamente ligado ao array), que produz os arrays de lógica e memória em wafers separados antes de uni-los.
Na interface, o BiCS10 QLC opera com Toggle DDR6.0 a 4.8 Gb/s com um protocolo de Endereço de Comando Separado e adiciona Terminação de Baixa Tensão Isolada por Energia (Power-Isolated Low-Tapped Termination - PIT) para melhorar a eficiência da transferência de dados. "Nossa memória flash 3D QLC de 10ª geração oferece ganhos simultâneos em densidade, largura de banda e eficiência energética", disse Ilkbahar, enquanto o CTO da Kioxia, Hideshi Miyajima, apontou para o mercado-alvo: o armazenamento eficiente de volumes de dados em rápida expansão para sistemas de IA. Nenhuma das empresas divulgou uma data para o envio de amostras do chip QLC.
Palestra Principal na Quarta-feira, Painel do Muro da Memória na Quinta-feira
A palestra principal da Sandisk na FMS, intitulada "NAND: A Base Versátil e Escalável da Era da IA", acontece na quarta-feira, 5 de agosto, às 11h40 (horário do Pacífico), com apresentação do diretor de receita Jim Elliott, do diretor de produtos Khurram Ismail e de Ilkbahar. Na quinta-feira, às 9h45 (horário do Pacífico), a Sandisk, a SK hynix e o Google participam de um painel intitulado "Quebrando a Barreira da Memória com Flash de Alta Largura de Banda", moderado por Tom Coughlin, que abordará a integração arquitetônica, os cronogramas de padronização e a economia da nova tecnologia. A Sandisk estará apresentando HBF, NAND de última geração, SSDs corporativos e sua estrutura atualizada de Ciclo de Dados de IA no estande nº 607.
O lançamento da especificação ocorre em uma semana repleta de notícias sobre hierarquia de memória; a Samsung usou sua própria apresentação principal da FMS para apresentar os conceitos zHBM e zNAND-O, ambos voltados para a mesma barreira de inferência de IA. A diferença é que o HBF agora possui uma especificação aberta e publicada, e com o Google e o TensorTorrent já no consórcio, a corrida pelos padrões de flash como memória tem um favorito. Todos os valores acima são fornecidos pelos fornecedores; esperamos ver hardware HBF em laboratório antes que qualquer empresa lance sistemas de produção baseados nele.
Amazon