Sandisk et SK hynix ont publié la première spécification technique HBF (High Bandwidth Flash) via l'Open Compute Project, six mois après la création du groupe de travail HBF en février. Google et Tenstorrent ont rejoint le consortium durant le processus de normalisation, et la spécification est désormais accessible à toute entreprise concevant des systèmes d'inférence ou des accélérateurs d'IA.
La mémoire HBF, basée sur la technologie NAND, répond à un problème de la DRAM. L'inférence en IA exige une mémoire à large bande passante proche des unités de calcul, mais la capacité de la mémoire HBM est limitée et coûteuse, tandis que la taille des modèles et des fenêtres de contexte ne cesse de croître. La mémoire HBF se situe entre ces deux extrêmes : des piles flash qui sacrifient une partie de la vitesse de la HBM au profit d'une capacité et d'une persistance bien supérieures, offrant ainsi aux concepteurs de systèmes une solution pour les poids des modèles et les données à long contexte qui ne tiennent plus dans la DRAM mais ne peuvent pas être stockées sur un SSD.
Cette spécification concrétise le concept par des données chiffrées. Selon SK hynix, les modules HBF sont disponibles en configurations NAND 8 et 16 niveaux, jusqu'à 512 Go par module, avec trois niveaux de performance allant de 0.4 To/s à 3.0 To/s, connectés via la norme UCIe. Le document définit l'interface hôte xPU-HBF, les spécifications électriques, les performances de base attendues, les recommandations en matière de fiabilité et de conditionnement pour un module HBF, ainsi qu'un guide d'utilisation du logiciel pour les opérations de lecture et d'écriture. Les entreprises ont conçu cette spécification de manière à ce que les mémoires HBF puissent coexister avec les mémoires HBM au sein d'un même système, sans les remplacer.
Sandisk et SK hynix affichent clairement leur stratégie : publier rapidement et ouvertement via OCP afin de positionner HBF comme la norme de facto du marché du stockage pour l’IA avant que leurs concurrents ne définissent une alternative. « L’inférence IA crée de nouveaux besoins en mémoire, et la technologie HBF est conçue pour y répondre », a déclaré Alper Ilkbahar, directeur technique de Sandisk, qualifiant cette spécification d’étape cruciale « pour la prochaine génération de systèmes d’IA conçus pour améliorer l’économie des jetons à grande échelle ». Le calcul de capacité est le même que celui qui sous-tend le déchargement du cache KV vers la mémoire flash : conserver le contexte dans un niveau plus dense et moins coûteux augmente le nombre de jetons et d’utilisateurs que chaque accélérateur peut prendre en charge.
BiCS10 QLC revendique la couronne de la densité
L'autre annonce de Sandisk concernant le programme FMS était liée à Kioxia : BiCS10 QLC, la dixième génération de mémoire NAND 3D à cellules à quatre niveaux (QLC) développée par les deux entreprises. Selon ces dernières, la nouvelle puce offre une densité de bits supérieure de 60 % à celle de leur QLC de huitième génération et, avec plus de 37 Gb/mm², la densité de bits la plus élevée du marché pour la mémoire NAND QLC. Elle comporte les mêmes 332 couches actives que la puce BiCS10 TLC, dont les échantillons ont été lancés en juillet , et est fabriquée selon le même procédé CBA (CMOS Directement Lié à la Matrice) qui consiste à fabriquer les matrices logiques et mémoires sur des plaquettes séparées avant de les assembler.
Côté interface, la mémoire flash QLC BiCS10 prend en charge la DDR6.0 Toggle à 4.8 Gb/s avec un protocole d'adresse de commande séparée (SCAD) et intègre une terminaison basse tension isolée pour optimiser les transferts de données. « Notre mémoire flash 3D QLC de 10e génération offre des gains simultanés en densité, bande passante et efficacité énergétique », a déclaré Ilkbahar, tandis que Hideshi Miyajima, directeur technique de Kioxia, a souligné le marché cible : le stockage efficace de volumes de données en constante expansion pour les systèmes d'IA. Aucune des deux entreprises n'a communiqué de date de disponibilité pour la puce QLC.
Conférence principale mercredi, table ronde sur le Mur de la Mémoire jeudi
La conférence inaugurale de Sandisk au FMS, intitulée « NAND : la base polyvalente et évolutive de l'ère de l'IA », aura lieu le mercredi 5 août à 11h40 (heure du Pacifique). Elle sera présentée par Jim Elliott, directeur des revenus, Khurram Ismail, directeur des produits, et Ilkbahar. Le jeudi à 9h45 (heure du Pacifique), Sandisk, SK hynix et Google animeront une table ronde intitulée « Briser le mur de la mémoire grâce à la mémoire flash à large bande passante », modérée par Tom Coughlin. Les participants aborderont l'intégration architecturale, les échéanciers de normalisation et les aspects économiques de cette nouvelle technologie. Sandisk présentera la mémoire flash à large bande passante (HBF), la mémoire NAND de nouvelle génération, les SSD d'entreprise et sa plateforme mise à jour pour le cycle de données d'IA sur le stand n° 607.
La publication de ces spécifications intervient au terme d'une semaine riche en actualités concernant les hiérarchies de mémoire ; Samsung a profité de sa conférence FMS pour présenter en avant-première les concepts zHBM et zNAND-O, destinés à relever le même défi en matière d'inférence IA. La différence réside dans le fait que HBF bénéficie désormais d'une spécification ouverte et publiée, et avec Google et Tenstorrent déjà membres du consortium, la course aux normes pour la mémoire flash a un favori. Tous les chiffres mentionnés ci-dessus sont fournis par les fabricants ; nous espérons voir du matériel HBF en laboratoire avant que quiconque ne commercialise des systèmes basés sur cette technologie.
Amazon