Sandisk e SK hynix hanno pubblicato la prima specifica tecnica HBF (High Bandwidth Flash) tramite l'Open Compute Project, sei mesi dopo la creazione del gruppo di lavoro HBF da parte delle due aziende a febbraio. Google e Tenstorrent si sono unite al consorzio durante il processo di standardizzazione e la specifica è ora liberamente disponibile a qualsiasi azienda che progetti sistemi di inferenza o acceleratori per l'intelligenza artificiale.
HBF è una soluzione basata su NAND a un problema tipico delle DRAM. L'inferenza AI richiede memoria ad alta larghezza di banda vicina al processore, ma la capacità delle HBM è limitata e costosa, mentre le dimensioni dei modelli e le finestre di contesto continuano a crescere. HBF si colloca tra questi due estremi: stack basati su memoria flash che sacrificano parte della velocità delle HBM a favore di una capacità e persistenza di gran lunga superiori, offrendo ai progettisti di sistemi un livello per i pesi dei modelli e i dati di contesto lunghi che non trovano più spazio nelle DRAM ma non possono risiedere su un SSD.
La specifica fornisce dati concreti a supporto del concetto. Secondo SK Hynix, gli stack HBF sono disponibili in configurazioni NAND a 8 e 16 livelli, con capacità fino a 512 GB per stack e tre livelli di prestazioni che vanno da 0.4 TB/s a 3.0 TB/s, con connessione tramite lo standard UCIe. Il documento definisce l'interfaccia host xPU-HBF, le linee guida elettriche, le aspettative di prestazioni di base, l'affidabilità e le linee guida per il packaging di uno stack di chip HBF, nonché una guida utente software per le operazioni di lettura e scrittura. Le aziende hanno progettato la specifica in modo che HBF possa coesistere con HBM nello stesso sistema, anziché sostituirla.
Sandisk e SK hynix sono espliciti riguardo alla strategia: pubblicare in anticipo e apertamente tramite OCP per posizionare HBF come standard di fatto per il mercato dello storage AI prima che i concorrenti definiscano un'alternativa. "L'inferenza AI sta creando una nuova serie di requisiti di memoria e la tecnologia HBF è progettata per rispondere a questa esigenza", ha affermato Alper Ilkbahar, Chief Technology Officer di Sandisk, definendo la specifica una pietra miliare "per la prossima generazione di sistemi AI costruiti per migliorare l'economia dei token su larga scala". Il calcolo della capacità è lo stesso che spinge a spostare la cache KV sulla memoria flash : mantenere il contesto in un livello più economico e denso aumenta il numero di token e utenti che ogni acceleratore può servire.
BiCS10 QLC si aggiudica il primato di densità.
L'altro annuncio di Sandisk relativo a FMS è arrivato insieme a Kioxia: BiCS10 QLC, la NAND 3D a quattro livelli di celle di decima generazione della coppia. Le aziende affermano che il nuovo die offre un aumento del 60% della densità di bit rispetto alla loro QLC di ottava generazione e, con oltre 37 Gb/mm², la più alta densità di bit del settore per la NAND QLC. Presenta gli stessi 332 strati attivi del die BiCS10 TLC, la cui campionatura è iniziata a luglio , ed è costruito con lo stesso processo CBA (CMOS directly Bonded to Array) che produce array logici e di memoria su wafer separati prima di unirli.
Sul lato dell'interfaccia, BiCS10 QLC esegue Toggle DDR6.0 a 4.8 Gb/s con un protocollo Separate Command Address e aggiunge la terminazione a bassa tensione con isolamento di potenza per migliorare l'efficienza del trasferimento dati in uscita. "La nostra memoria flash 3D QLC di decima generazione offre vantaggi simultanei in termini di densità, larghezza di banda ed efficienza energetica", ha affermato Ilkbahar, mentre il CTO di Kioxia, Hideshi Miyajima, ha indicato il mercato di riferimento: l'archiviazione efficiente di volumi di dati in rapida espansione per i sistemi di intelligenza artificiale. Nessuna delle due aziende ha fornito una data di campionamento per il die QLC.
Discorso di apertura mercoledì, tavola rotonda sul Muro della Memoria giovedì
Il keynote di Sandisk FMS, "NAND: la base versatile e scalabile dell'era dell'IA", si terrà mercoledì 5 agosto alle 11:40 PT e sarà presentato dal Chief Revenue Officer Jim Elliott, dal Chief Product Officer Khurram Ismail e da Ilkbahar. Giovedì alle 9:45 PT, Sandisk, SK hynix e Google parteciperanno a un panel intitolato "Superare il limite della memoria con High Bandwidth Flash", moderato da Tom Coughlin, che approfondirà l'integrazione architetturale, le tempistiche di standardizzazione e gli aspetti economici del nuovo livello tecnologico. Sandisk presenterà HBF, NAND di nuova generazione, SSD enterprise e il suo framework aggiornato per il ciclo dati dell'IA presso lo stand n. 607.
La pubblicazione delle specifiche arriva in una settimana ricca di novità sulla gerarchia delle memorie; Samsung ha sfruttato il suo keynote FMS per presentare in anteprima i concetti zHBM e zNAND-O, entrambi volti a raggiungere lo stesso obiettivo di inferenza AI. La differenza è che HBF ora ha alle spalle una specifica aperta e pubblicata, e con Google e Tenstorrent già nel consorzio, la corsa agli standard per la memoria flash ha un contendente di punta. Tutti i dati sopra riportati sono forniti dai produttori; ci auguriamo di vedere hardware HBF in laboratorio prima che vengano commercializzati sistemi basati su questa tecnologia.
Amazon