Sandisk und SK hynix haben sechs Monate nach der Gründung des HBF-Arbeitsbereichs im Februar die erste technische Spezifikation für HBF (High Bandwidth Flash) über das Open Compute Project veröffentlicht. Google und TensorFlow traten dem Konsortium während des Standardisierungsprozesses bei, und die Spezifikation steht nun allen Unternehmen, die KI-Inferenzsysteme oder -Beschleuniger entwickeln, frei zur Verfügung.
HBF ist eine NAND-basierte Lösung für ein DRAM-Problem. KI-Inferenz benötigt Speicher mit hoher Bandbreite in der Nähe der Recheneinheit, doch die Kapazität von HBM ist begrenzt und teuer, während Modellgrößen und Kontextfenster stetig wachsen. HBF schließt die Lücke zwischen diesen beiden Extremen: Flash-basierte Speichersysteme, die einen Teil der HBM-Geschwindigkeit gegen deutlich höhere Kapazität und Datenpersistenz eintauschen, bieten Systementwicklern eine zusätzliche Ebene für Modellgewichte und Daten mit langem Kontext, die nicht mehr in DRAM passen, aber auch nicht auf einer SSD gespeichert werden können.
Die Spezifikation untermauert das Konzept mit konkreten Zahlen. Laut SK hynix sind HBF-Stacks in 8- und 16-fach-NAND-Konfigurationen mit bis zu 512 GB pro Stack und drei Leistungsstufen von 0.4 TB/s bis 3.0 TB/s verfügbar. Die Anbindung erfolgt über den UCIe-Standard. Das Dokument definiert die xPU-HBF-Hostschnittstelle, elektrische Richtlinien, grundlegende Leistungserwartungen, Zuverlässigkeits- und Packaging-Richtlinien für einen HBF-Die-Stack sowie eine Software-Benutzeranleitung für Lese- und Schreibvorgänge. Die Unternehmen haben die Spezifikation so konzipiert, dass HBF und HBM im selben System koexistieren können, anstatt HBM zu ersetzen.
Sandisk und SK hynix verfolgen eine klare Strategie: Sie veröffentlichen ihre Spezifikation frühzeitig und transparent über OCP, um HBF als De-facto-Standard für den KI-Speichermarkt zu etablieren, bevor Wettbewerber eine Alternative definieren. „KI-Inferenz schafft neue Speicheranforderungen, und die HBF-Technologie ist genau darauf ausgelegt“, so Alper Ilkbahar, CTO von Sandisk. Er bezeichnete die Spezifikation als Meilenstein „für die nächste Generation von KI-Systemen, die die Token-Ökonomie im großen Maßstab verbessern sollen“. Die Kapazitätsberechnung entspricht derjenigen, die KV-Cache-Offloading auf Flash-Speicher antreibt : Die Speicherung des Kontexts in einer kostengünstigeren, dichteren Speicherschicht erhöht die Anzahl der Token und Nutzer, die jeder Beschleuniger bedienen kann.
BiCS10 QLC beansprucht die Krone der Dichte
Sandisks zweite FMS-Ankündigung erfolgte zusammen mit Kioxia: BiCS10 QLC, der 3D-NAND-Speicher der zehnten Generation mit vier Level-Level-Cells. Laut den Unternehmen bietet der neue Chip eine um 60 % höhere Bitdichte als ihr QLC-Chip der achten Generation und mit über 37 Gbit/mm² die branchenweit höchste Bitdichte für QLC-NAND. Er verfügt über dieselben 332 aktiven Schichten wie der BiCS10 TLC-Chip, dessen Musterlieferung im Juli begann . Gefertigt wird er im gleichen CBA-Verfahren (CMOS direct Bonded to Array), bei dem Logik- und Speicherarrays auf separaten Wafern hergestellt und anschließend miteinander verbunden werden.
Auf der Schnittstellenseite arbeitet BiCS10 QLC mit Toggle DDR6.0 mit 4.8 Gbit/s und einem separaten Befehlsadressprotokoll. Zusätzlich bietet es eine stromisolierte, niedrig abgetastete Terminierung (Power-Isolated Low-Tapped Termination) zur Verbesserung der Datenübertragungseffizienz. „Unser QLC-3D-Flash-Speicher der 10. Generation bietet gleichzeitige Verbesserungen bei Speicherdichte, Bandbreite und Energieeffizienz“, so Ilkbahar. Kioxia-CTO Hideshi Miyajima wies auf den Zielmarkt hin: die effiziente Speicherung schnell wachsender Datenmengen für KI-Systeme. Beide Unternehmen nannten keinen Liefertermin für die QLC-Chips.
Hauptvortrag am Mittwoch, Podiumsdiskussion zur Erinnerungswand am Donnerstag
Sandisks Keynote auf der FMS-Konferenz mit dem Titel „NAND: Die vielseitige und skalierbare Grundlage des KI-Zeitalters“ findet am Mittwoch, den 5. August um 11:40 Uhr PT statt und wird von Chief Revenue Officer Jim Elliott, Chief Product Officer Khurram Ismail und Ilkbahar präsentiert. Am Donnerstag um 9:45 Uhr PT veranstalten Sandisk, SK hynix und Google ein Panel mit dem Titel „Die Speichergrenzen mit High Bandwidth Flash überwinden“, moderiert von Tom Coughlin. Im Fokus stehen die architektonische Integration, Standardisierungspläne und die Wirtschaftlichkeit der neuen Technologieklasse. Sandisk präsentiert HBF, NAND der nächsten Generation, Enterprise-SSDs und sein aktualisiertes AI Data Cycle Framework am Stand Nr. 607.
Die Veröffentlichung der Spezifikation erfolgt in einer Woche voller Neuigkeiten zur Speicherhierarchie; Samsung nutzte seine eigene FMS-Keynote, um zHBM- und zNAND-O-Konzepte vorzustellen, die auf dieselbe Herausforderung im Bereich KI-Inferenz abzielen. Der Unterschied besteht darin, dass HBF nun über eine veröffentlichte, offene Spezifikation verfügt, und da Google und Tenstorrent bereits dem Konsortium angehören, hat der Wettlauf um Standards für Flash-Speicher einen Spitzenreiter. Alle oben genannten Zahlen stammen von den Herstellern; wir hoffen, HBF-Hardware im Labor testen zu können, bevor Seriensysteme darauf basieren.
Amazon