Sandisk i SK Hynix opublikowały pierwszą specyfikację techniczną HBF (High Bandwidth Flash) w ramach projektu Open Compute Project, sześć miesięcy po utworzeniu przez obie firmy w lutym zespołu ds. HBF. Google i Tenstorrent dołączyły do konsorcjum w trakcie procesu standaryzacji, a specyfikacja jest teraz ogólnodostępna dla każdej firmy projektującej systemy wnioskowania AI lub akceleratory.
HBF to oparta na pamięci NAND odpowiedź na problem DRAM. Wnioskowanie AI wymaga pamięci o dużej przepustowości blisko miejsca obliczeń, ale pojemność HBM jest ograniczona i kosztowna, a rozmiary modeli i okna kontekstowe stale rosną. HBF plasuje się pomiędzy tymi dwoma skrajnościami: stosami opartymi na pamięci flash, które oferują część szybkości HBM w zamian za znacznie większą pojemność i trwałość, dając projektantom systemów poziom dla wag modeli i danych długiego kontekstu, które nie mieszczą się już w pamięci DRAM, ale nie mogą być przechowywane na dysku SSD.
Specyfikacja opiera koncepcję na rzeczywistych liczbach. Według SK Hynix, stosy HBF są dostępne w konfiguracjach NAND z 8 i 16 pamięciami, o pojemności do 512 GB na stos, z trzema poziomami wydajności, od 0.4 TB/s do 3.0 TB/s, połączonych standardem UCIe. Dokument definiuje interfejs hosta xPU-HBF, wytyczne elektryczne, podstawowe oczekiwania dotyczące wydajności, niezawodność i wytyczne dotyczące obudowy stosu matryc HBF oraz instrukcję obsługi oprogramowania do operacji odczytu i zapisu. Firmy zaprojektowały specyfikację tak, aby HBF mógł współistnieć z HBM w tym samym systemie, a nie je zastępować.
Sandisk i SK hynix jasno określają strategię: publikować wcześnie i otwarcie za pośrednictwem OCP, aby ugruntować pozycję HBF jako faktycznego standardu na rynku pamięci masowej dla sztucznej inteligencji, zanim konkurenci zdefiniują alternatywę. „Wnioskowanie AI tworzy nowy zestaw wymagań dotyczących pamięci, a technologia HBF została zaprojektowana tak, aby sprostać tym wyzwaniom” – powiedział Alper Ilkbahar, dyrektor ds. technologii w Sandisk, nazywając tę specyfikację kamieniem milowym „dla kolejnej generacji systemów AI, zbudowanych w celu poprawy ekonomiki tokenów na dużą skalę”. Matematyka pojemności jest taka sama, jak ta, która napędza odciążanie pamięci podręcznej KV do pamięci flash : utrzymywanie kontekstu w tańszej, gęstszej warstwie zwiększa liczbę tokenów i użytkowników, których może obsłużyć każdy akcelerator.
BiCS10 QLC zdobywa koronę gęstości
Innym produktem Sandisk FMS była Kioxia: BiCS10 QLC, dziesiątej generacji czterokomórkowa pamięć 3D NAND. Firmy twierdzą, że nowy układ zapewnia o 60% większą gęstość bitową w porównaniu z układem QLC ósmej generacji i, przy ponad 37 Gb/mm², najwyższą gęstość bitową w branży dla pamięci QLC NAND. Układ ten zawiera te same 332 warstwy aktywne, co układ BiCS10 TLC, którego testy rozpoczęto w lipcu , zbudowany w tym samym procesie CBA (CMOS bezpośrednio połączony z macierzą), który wytwarza logikę i macierz pamięci na oddzielnych płytkach przed ich połączeniem.
Od strony interfejsu, BiCS10 QLC obsługuje pamięć Toggle DDR6.0 z szybkością 4.8 Gb/s i protokołem Separate Command Address, a także dodaje terminację Power-Isolated Low-Tapped, aby poprawić wydajność transferu danych. „Nasza pamięć flash QLC 3D 10. generacji zapewnia jednocześnie wzrost gęstości, przepustowości i efektywności energetycznej” – powiedział Ilkbahar, a dyrektor ds. technologii w Kioxia, Hideshi Miyajima, wskazał na rynek docelowy: wydajne przechowywanie szybko rosnących wolumenów danych dla systemów AI. Żadna z firm nie podała daty testowania układu QLC.
Środa z wykładem, czwartek z panelem ściennym „Pamięć”
Prezentacja Sandisk na konferencji FMS zatytułowana „NAND: Wszechstronny i skalowalny fundament ery AI” odbędzie się w środę, 5 sierpnia o godzinie 11:40 czasu pacyficznego. Poprowadzą ją dyrektor ds. przychodów Jim Elliott, dyrektor ds. produktów Khurram Ismail oraz Ilkbahar. W czwartek o godzinie 9:45 czasu pacyficznego Sandisk, SK hynix i Google wezmą udział w panelu dyskusyjnym zatytułowanym „Przełamanie bariery pamięci dzięki pamięci flash o wysokiej przepustowości”, moderowanym przez Toma Coughlina. Dyskusja będzie poświęcona integracji architektonicznej, harmonogramowi standaryzacji i ekonomii nowego poziomu. Sandisk zaprezentuje HBF, NAND nowej generacji, dyski SSD klasy korporacyjnej oraz zaktualizowaną platformę AI Data Cycle na stoisku nr 607.
Publikacja specyfikacji ukazuje się w tygodniu pełnym wiadomości o hierarchii pamięci; Samsung wykorzystał własne wystąpienie FMS , aby zaprezentować koncepcje zHBM i zNAND-O, ukierunkowane na tę samą ścianę wnioskowania AI. Różnica polega na tym, że HBF ma już opublikowaną, otwartą specyfikację, a Google i Tenstorrent są już w konsorcjum, co oznacza, że w wyścigu o standardy pamięci flash ma faworyta. Wszystkie powyższe dane pochodzą od dostawców; mamy nadzieję, że sprzęt HBF zobaczymy w laboratorium, zanim ktokolwiek wypuści na rynek systemy produkcyjne zbudowane na tym systemie.
Amazon