샌디스크와 SK하이닉스는 지난 2월 HBF(고대역폭 플래시) 워크스트림을 결성한 지 6개월 만에 오픈 컴퓨트 프로젝트(Open Compute Project)를 통해 최초의 HBF 기술 사양을 발표했습니다. 구글과 텐스토렌트는 표준화 과정 중에 컨소시엄에 합류했으며, 이제 이 사양은 AI 추론 시스템이나 가속기를 설계하는 모든 기업이 자유롭게 이용할 수 있습니다.
HBF는 DRAM의 한계를 극복하는 NAND 기반 솔루션입니다. AI 추론에는 연산 영역 가까이에 고대역폭 메모리가 필요하지만, HBM의 용량은 제한적이고 가격이 비싼 반면 모델 크기와 컨텍스트 윈도우는 계속 증가하고 있습니다. HBF는 이러한 두 가지 극단적인 상황 사이에서 균형을 잡아줍니다. HBM의 속도를 다소 희생하는 대신 훨씬 더 큰 용량과 영구 저장 기능을 제공하는 플래시 기반 스택으로, 시스템 설계자에게 DRAM에는 더 이상 저장할 수 없지만 SSD에도 저장할 수 없는 모델 가중치 및 장기 컨텍스트 데이터를 저장할 수 있는 계층을 제공합니다.
이 규격은 개념에 실질적인 수치를 제시합니다. SK하이닉스에 따르면, HBF 스택은 8단 및 16단 NAND 구성으로 제공되며, 스택당 최대 512GB 용량을 지원합니다. 성능 등급은 0.4TB/s에서 3.0TB/s까지 세 가지이며, UCIe 표준을 통해 연결됩니다. 이 문서는 xPU-HBF 호스트 인터페이스, 전기적 지침, 기본 성능 기대치, 신뢰성 및 HBF 다이 스택의 패키징 지침, 그리고 읽기/쓰기 작업에 대한 소프트웨어 사용자 가이드를 정의합니다. 양사는 HBF가 HBM을 대체하는 것이 아니라 동일 시스템에서 공존할 수 있도록 규격을 설계했습니다.
샌디스크와 SK하이닉스는 경쟁사들이 대안을 제시하기 전에 OCP를 통해 HBF를 AI 스토리지 시장의 사실상 표준으로 자리매김하기 위한 전략을 명확히 밝혔습니다. 샌디스크의 최고기술책임자(CTO)인 알퍼 일크바하르는 "AI 추론은 새로운 메모리 요구 사항을 만들어내고 있으며, HBF 기술은 이러한 요구에 부응하도록 설계되었습니다."라고 말하며, 이번 사양 발표를 "대규모 토큰 경제성을 개선하도록 구축된 차세대 AI 시스템을 위한 중요한 이정표"라고 평가했습니다. 용량 계산 방식은 KV 캐시 오프로드를 플래시 메모리로 전환하는 것과 동일한 원리입니다 . 더 저렴하고 밀도가 높은 계층에 컨텍스트를 유지함으로써 각 가속기가 처리할 수 있는 토큰과 사용자 수를 늘릴 수 있습니다.
BiCS10 QLC가 밀도 부문 1위를 차지했습니다.
샌디스크는 키옥시아와 함께 10세대 쿼드 레벨 셀(QLC) 3D NAND인 BiCS10 QLC를 공동 발표했습니다. 두 회사는 이 새로운 다이가 8세대 QLC 대비 비트 밀도를 60% 향상시켰으며, 37Gb/mm² 이상의 비트 밀도로 업계 최고 수준의 QLC NAND를 구현했다고 밝혔습니다. BiCS10 QLC는 7월에 샘플링이 시작된 BiCS10 TLC 다이와 동일한 332개의 활성 레이어를 가지고 있으며 , 로직 및 메모리 어레이를 별도의 웨이퍼에 제조한 후 접합하는 동일한 CBA(CMOS directly Bonded to Array) 공정을 기반으로 제작되었습니다.
인터페이스 측면에서 BiCS10 QLC는 분리형 명령 주소(Separate Command Address) 프로토콜을 사용하는 토글 DDR6.0을 4.8Gb/s 속도로 구동하며, 데이터 출력 전송 효율을 향상시키기 위해 전력 절연 저탭 종단(Power-Isolated Low-Tapped Termination)을 추가했습니다. 일크바하르(Ilkbahar)는 "당사의 10세대 QLC 3D 플래시 메모리는 밀도, 대역폭 및 에너지 효율 측면에서 동시에 향상된 성능을 제공합니다."라고 말했고, 키옥시아(Kioxia)의 CTO인 히데시 미야지마(Hideshi Miyajima)는 AI 시스템을 위해 빠르게 증가하는 데이터 볼륨을 효율적으로 저장하는 것이 목표 시장이라고 언급했습니다. 두 회사 모두 QLC 다이의 샘플링 날짜는 밝히지 않았습니다.
수요일 기조연설, 목요일 추모의 벽 패널 토론
샌디스크의 FMS 기조연설 "NAND: AI 시대의 다재다능하고 확장 가능한 기반"은 8월 5일 수요일 오전 11시 40분(태평양 표준시)에 진행되며, 최고 매출 책임자(CRO) 짐 엘리엇, 최고 제품 책임자(CPO) 쿠람 이스마일, 그리고 일크바하르가 발표를 맡습니다. 목요일 오전 9시 45분(태평양 표준시)에는 샌디스크, SK하이닉스, 그리고 구글이 "고대역폭 플래시로 메모리 장벽 허물기"라는 주제로 패널 토론을 진행합니다. 톰 코플린의 진행으로 아키텍처 통합, 표준화 일정, 그리고 새로운 기술 계층의 경제성에 대해 심도 있게 논의할 예정입니다. 샌디스크는 부스 #607에서 HBF, 차세대 NAND, 엔터프라이즈 SSD, 그리고 업데이트된 AI 데이터 사이클 프레임워크를 선보입니다.
이번 사양 발표는 메모리 계층 구조 관련 소식이 쏟아지는 한 주에 이루어졌습니다. 삼성은 FMS 기조연설에서 동일한 AI 추론 장벽을 겨냥한 zHBM과 zNAND-O 개념을 미리 공개했습니다. 차이점은 HBF가 이제 공개된 오픈소스 사양을 갖게 되었고, 구글과 텐스토렌트가 이미 컨소시엄에 참여하면서 플래시 메모리 표준 경쟁에서 선두 주자가 나타났다는 점입니다. 위의 모든 수치는 제조사에서 제공한 것이며, HBF 기반 양산 시스템이 출시되기 전에 연구실에서 HBF 하드웨어를 직접 확인할 수 있기를 기대합니다.
아마존