Společnosti Sandisk a SK hynix zveřejnily první technickou specifikaci HBF (High Bandwidth Flash) prostřednictvím projektu Open Compute Project, šest měsíců poté, co obě společnosti v únoru vytvořily pracovní skupinu HBF. Společnosti Google a Tenstorrent se ke konsorciu připojily během procesu standardizace a specifikace je nyní volně dostupná pro všechny společnosti, které navrhují systémy pro inferenci nebo akcelerátory umělé inteligence.
HBF je řešení problému s DRAM založené na NAND. Inference umělé inteligence vyžaduje paměť s vysokou šířkou pásma blízkou výpočetní kapacitě, ale kapacita HBM je omezená a drahá, zatímco velikosti modelů a kontextová okna neustále rostou. HBF se pohybuje mezi dvěma extrémy: zásobníky založené na flash paměti, které vyměňují část rychlosti HBM za mnohem větší kapacitu a perzistenci, což dává systémovým návrhářům úroveň pro váhy modelů a dlouhodobá kontextová data, která se již nevejdou do DRAM, ale nemohou existovat na SSD.
Specifikace za tímto konceptem uvádí reálná čísla. Podle SK hynix se stacky HBF dodávají v konfiguracích s 8 a 16 paměťovými čipy NAND s kapacitou až 512 GB na stack, se třemi výkonnostními stupni od 0.4 TB/s do 3.0 TB/s, propojenými přes standard UCIe. Dokument definuje hostitelské rozhraní xPU-HBF, elektrické směrnice, základní očekávání výkonu, spolehlivost a pokyny pro balení stacku HBF a uživatelskou příručku pro softwarové operace čtení a zápisu. Společnosti navrhly specifikaci tak, aby HBF mohl koexistovat s HBM ve stejném systému, a nikoli je nahrazovat.
Společnosti Sandisk a SK hynix se ohledně své strategie explicitně vyjadřují: publikovat včas a otevřeně prostřednictvím OCP, aby se HBF stal de facto standardem pro trh s úložišti s umělou inteligencí, než konkurenti definují alternativu. „Inference umělé inteligence vytváří novou sadu požadavků na paměť a technologie HBF je navržena tak, aby tento okamžik splnila,“ řekl Alper Ilkbahar, technický ředitel společnosti Sandisk, a označil tuto specifikaci za milník „pro další generaci systémů umělé inteligence postavených na zlepšení ekonomiky tokenů ve velkém měřítku“. Matematika kapacity je stejná jako ta, která vede k přesunu mezipaměti KV do flash paměti : udržování kontextu v levnější a hustší vrstvě zvyšuje počet tokenů a uživatelů, které může každý akcelerátor obsloužit.
BiCS10 QLC si nárokuje korunu hustoty
Další oznámení společnosti Sandisk ohledně FMS přišlo s technologií Kioxia: BiCS10 QLC, desátou generací čtyřúrovňové 3D NAND paměti od obou společností. Společnosti uvádějí, že nový čip nabízí o 60 % vyšší bitovou hustotu než jejich QLC 8. generace a s více než 37 Gb/mm² nejvyšší bitovou hustotou pro QLC NAND v oboru. Nese stejných 332 aktivních vrstev jako čip BiCS10 TLC, jehož vzorkování se začalo vyrábět v červenci , a je postaven na stejném procesu CBA (CMOS přímo spojené s polem), který vyrábí logiku a paměťové pole na oddělených waferech před jejich spojením.
Co se týče rozhraní, BiCS10 QLC využívá paměť Toggle DDR6.0 s rychlostí 4.8 Gb/s a protokolem Separate Command Address a přidává Power-Isolated Low-Tapped Termination pro zlepšení efektivity přenosu dat. „Naše 3D flash paměť QLC 10. generace přináší současné zvýšení hustoty, šířky pásma a energetické účinnosti,“ uvedl Ilkbahar, zatímco technický ředitel společnosti Kioxia Hideshi Miyajima poukázal na cílový trh: efektivní ukládání rychle rostoucích objemů dat pro systémy umělé inteligence. Ani jedna ze společností neuvedla datum vzorkování čipu QLC.
Středeční hlavní projev, čtvrteční panel Memory Wall
Hlavní přednáška společnosti Sandisk na FMS s názvem „NAND: Všestranný a škálovatelný základ éry umělé inteligence“ se bude konat ve středu 5. srpna v 11:40 tichomořského času. Přednášejí ji ředitel pro příjmy Jim Elliott, produktový ředitel Khurram Ismail a Ilkbahar. Ve čtvrtek v 9:45 tichomořského času se společnosti Sandisk, SK hynix a Google účastní panelu s názvem „Prolomení paměťové zdi s vysokorychlostní flash pamětí“, který bude moderovat Tom Coughlin. Panel se bude zabývat architektonickou integrací, časovými harmonogramy standardizace a ekonomikou nové úrovně. Společnost Sandisk na stánku č. 607 představí HBF, NAND nové generace, podnikové SSD disky a svůj aktualizovaný rámec pro datový cyklus umělé inteligence.
Zveřejnění specifikace přichází v týdnu plném zpráv o hierarchii pamětí; Samsung využil svého vlastního projevu o FMS k představení konceptů zHBM a zNAND-O zaměřených na stejnou inferenční stěnu s umělou inteligencí. Rozdíl je v tom, že HBF má nyní za sebou publikovanou, otevřenou specifikaci a vzhledem k tomu, že Google a Tenstorrent jsou již v konsorciu, má standardizační závod o flash-as-memory v čele. Všechny výše uvedené údaje jsou uvedeny dodavateli; doufáme, že hardware HBF uvidíme v laboratoři dříve, než někdo dodá produkční systémy postavené na něm.
Amazon