閃迪和SK海力士透過開放運算專案發布了首個HBF（高頻寬快閃記憶體）技術規範。此前，兩家公司於今年2月成立了HBF工作小組。 Google和TensorRent在標準化過程中加入了該聯盟。現在，任何設計人工智慧推理系統或加速器的公司都可以公開使用該規範。
HBF 是一種基於 NAND 快閃記憶體的 DRAM 問題解決方案。人工智慧推理需要靠近計算節點的高頻寬內存，但 HBM 容量有限且價格昂貴，而模型規模和上下文視窗卻在不斷增長。 HBF 介於兩者之間：它基於快閃堆疊，以犧牲部分 HBM 的速度為代價，換取了更大的容量和更長的持久性，為系統設計人員提供了一個用於儲存模型權重和長上下文資料的平台，這些資料不再適合 DRAM，但又無法儲存在 SSD 上。
該規範用實際數據支撐了這個概念。根據SK海力士的說法，HBF堆疊採用8層和16層NAND快閃記憶體配置，單層容量最高可達512GB，並提供三種效能等級，讀寫速度從0.4TB/s到3.0TB/s不等，透過UCIe標準連接。此文件定義了HBF晶片堆疊的xPU-HBF主機介面、電氣規範、基準效能預期、可靠性和封裝指南，以及讀寫操作的軟體使用者指南。各公司設計此規範的目的是使HBF能夠與HBM在同一系統中共存，而不是取代HBM。
閃迪和SK海力士的策略非常明確：透過OCP儘早公開發布HBF規範，在競爭對手提出替代方案之前，將其定位為AI儲存市場的實際標準。 「AI推理正在創造一系列新的記憶體需求，而HBF技術正是為了滿足這一需求而設計的，」閃迪首席技術長Alper Ilkbahar表示，並稱該規範是「下一代AI系統構建的里程碑，旨在大規模提升代幣經濟效益」。其容量計算原理與將KV快取卸載到快閃記憶體的原理相同：將上下文資訊保存在更便宜、更密集的層級中，可以提高每個加速器能夠服務的代幣和用戶數量。
BiCS10 QLC 聲稱擁有密度冠
閃迪的另一項FMS公告是與鎧俠合作推出的：BiCS10 QLC，這是雙方合作的第十代四層單元（QLC）3D NAND快閃記憶體。兩家公司表示，這款新晶片的位元密度比第八代QLC晶片提高了60%，並且超過37Gb/mm²，是目前業界QLC NAND快閃記憶體中最高的位元密度。它與8月開始提供樣品的BiCS10 TLC晶片一樣，都採用了332層主動層，並且都基於相同的CBA（CMOS直接鍵合陣列）製程製造，該製程在將邏輯陣列和儲存陣列分別製造在不同的晶圓上之後再進行鍵合。
在介面方面，BiCS10 QLC 快閃記憶體採用獨立命令位址 (SMAC) 協議，以 4.8Gb/s 的速率運行 Toggle DDR6.0 資料流，並增加了電源隔離低抽頭終端 (PLTT) 技術，以提高資料輸出傳輸效率。 「我們的第十代 QLC 3D 閃存在密度、頻寬和能源效率方面實現了同步提升，」Ilkbahar 表示。鎧俠 (Kioxia) 技術長宮島秀志 (Hideshi Miyajima) 則指出了其目標市場：高效儲存人工智慧系統快速成長的資料量。兩家公司均未透露 QLC 晶片的樣品發布日期。
週三主題演講，週四記憶牆小組討論
閃迪將在FMS大會上發表主題演講“NAND：人工智慧時代的多功能可擴展基礎”，演講將於太平洋時間8月5日（週三）上午11:40舉行，由首席營收長Jim Elliott、首席產品長Khurram Ismail和Ilkbahar共同呈現。太平洋時間8月6日（週四）上午9:45，閃迪、SK海力士和谷歌將共同參與一場題為“利用高頻寬閃存打破內存壁壘”的小組討論，由Tom Coughlin主持，深入探討架構集成、標準化時間表以及新層級的經濟效益。閃迪將在607號展位展示其HBF、新一代NAND快閃記憶體、企業級固態硬碟以及更新後的AI資料週期框架。
本週記憶體層次結構新聞層出不窮，HBF規範的發布可謂恰逢其時；三星在其FMS主題演講中預覽了zHBM和zNAND-O概念，旨在解決同樣的AI推理難題。不同之處在於，HBF現在擁有公開的開源規範，並且由於谷歌和TensorRent已經加入該聯盟，閃存即內存（flash-as-mimmer）的標準競賽已經出現領跑者。以上所有數據均來自廠商；我們希望在基於HBF建構的生產系統上市之前，先在實驗室中看到HBF硬體的測試結果。
Amazon