Sandisk och SK hynix har släppt den första tekniska HBF-specifikationen (High Bandwidth Flash) genom Open Compute Project, sex månader efter att de två företagen bildade HBF-arbetsflödet i februari. Google och Tenstorrent gick med i konsortiet under standardiseringsprocessen, och specifikationen är nu öppet tillgänglig för alla företag som utformar AI-inferenssystem eller acceleratorer.
HBF är ett NAND-baserat svar på ett DRAM-problem. AI-inferens vill ha högbandbreddigt minne nära beräkningsförmågan, men HBM-kapaciteten är begränsad och dyr, medan modellstorlekar och kontextfönster fortsätter att växa. HBF placerar sig mellan de två ytterligheterna: flashbaserade stackar som byter en del av HBM:s hastighet mot betydligt större kapacitet och beständighet, vilket ger systemdesigners en nivå för modellvikter och långkontextdata som inte längre får plats i DRAM men inte kan ligga kvar på en SSD.
Specifikationen bygger på verkliga siffror. Enligt SK hynix finns HBF-stackar i 8-höga och 16-höga NAND-konfigurationer med upp till 512 GB per stack, med tre prestandaklasser som sträcker sig från 0.4 TB/s till 3.0 TB/s, anslutna via UCIe-standarden. Dokumentet definierar xPU-HBF-värdgränssnittet, elektriska riktlinjer, grundläggande prestandaförväntningar, tillförlitlighet och paketeringsriktlinjer för en HBF-diestack, samt en användarhandbok för programvara för läs- och skrivoperationer. Företagen utformade specifikationen så att HBF kan samexistera med HBM i samma system snarare än att ersätta det.
Sandisk och SK hynix är tydliga med strategin: publicera tidigt och öppet via OCP för att positionera HBF som de facto-standarden för AI-lagringsmarknaden innan konkurrenterna definierar ett alternativ. ”AI-inferens skapar en ny uppsättning minneskrav, och HBF-tekniken är utformad för att möta det ögonblicket”, säger Alper Ilkbahar, teknikchef på Sandisk, och kallar specifikationen en milstolpe ”för nästa generations AI-system byggda för att förbättra tokenekonomin i stor skala.” Kapacitetsmatematiken är densamma som driver KV-cache-avlastning till flash : att hålla kontext i en billigare, tätare nivå ökar hur många tokens och användare varje accelerator kan betjäna.
BiCS10 QLC vinner densitetspriset
Sandisks andra FMS-tillkännagivande kom med Kioxia: BiCS10 QLC, parets tionde generationens fyrcelliga 3D-NAND. Företagen säger att den nya chipen ger en ökning av bitdensiteten med 60 % jämfört med deras 8:e generationens QLC och, med mer än 37 Gb/mm², branschens högsta bitdensitet för QLC NAND. Den har samma 332 aktiva lager som BiCS10 TLC-chippen som började samplas i juli , byggd på samma CBA-process (CMOS directly Bonded to Array) som tillverkar logik och minnesmatris på separata wafers innan de bondas.
På gränssnittssidan kör BiCS10 QLC Toggle DDR6.0 med 4.8 Gb/s med ett Separate Command Address-protokoll och lägger till Power-Isolated Low-Tapped Termination för att förbättra effektiviteten vid dataöverföring. ”Vårt 10:e generationens QLC 3D-flashminne ger samtidiga vinster i densitet, bandbredd och energieffektivitet”, sa Ilkbahar, medan Kioxias tekniska chef Hideshi Miyajima pekade på målmarknaden: effektiv lagring av snabbt växande datavolymer för AI-system. Inget av företagen gav något provtagningsdatum för QLC-chipet.
Keynote onsdag, minnespanel torsdag
Sandisks FMS-presentation, ”NAND: Den mångsidiga och skalbara grunden för AI-eran”, äger rum onsdagen den 5 augusti kl. 11:40 PT och presenteras av intäktschef Jim Elliott, produktchef Khurram Ismail och Ilkbahar. På torsdag kl. 9:45 PT delar Sandisk, SK hynix och Google en panel med titeln ”Breaking the Memory Wall with High Bandwidth Flash”, modererad av Tom Coughlin, där vi fördjupar oss i arkitekturintegration, standardiseringstidslinjer och ekonomin för den nya nivån. Sandisk visar HBF, nästa generations NAND, företags-SSD:er och sitt uppdaterade AI Data Cycle-ramverk i monter 607.
Specifikationssläppet kommer efter en vecka fylld med nyheter om minneshierarki; Samsung använde sitt eget FMS-anförande för att förhandsgranska zHBM- och zNAND-O-koncept som syftar till samma AI-inferensvägg. Skillnaden är att HBF nu har en publicerad, öppen specifikation bakom sig, och med Google och Tenstorrent redan i konsortiet har standardkapplöpningen för flash-som-minne en föregångare. Alla siffror ovan är leverantörsangivna; vi hoppas kunna se HBF-hårdvara i labbet innan någon levererar produktionssystem byggda på den.
Amazon