Firma XCENA zaprezentowała dwie demonstracje wnioskowania AI oparte na pamięci obliczeniowej MX1 CXL podczas konferencji OCP Global Summit 2026 w San Jose: pamięć podręczną KV współdzieloną przez serwery wnioskowania poprzez pulę pamięci CXL oraz wyszukiwanie wektorowe w celu generacji rozszerzonej o wyszukiwanie (RAG) uruchomione wewnątrz układu pamięci. Firma SK Hynix zaprezentowała również na swoim stoisku produkt CXL Hybrid Memory oparty na układzie MX1, a obie firmy wspólnie optymalizują wydajność pamięci współdzielonej opartej na RDMA.
MX1 to układ pamięci CXL 3.2 typu 3, który XCENA reklamuje jako pierwszą pamięć obliczeniową CXL 3.2, z podwójnym interfejsem PCIe 6.0 x8 i obsługą do 2 TB pamięci DRAM w modułach DIMM o pojemności 256 GB (po dwa moduły DIMM na kanał). Oprócz rozszerzenia pamięci, kontroler zawiera tysiące niestandardowych rdzeni RISC-V z silnikami wektorowymi FP32 i FP16 do przetwarzania bliskiego przetwarzaniu danych, a także oddzielny kompleks główny PCIe 6.0, który podłącza dyski SSD, co XCENA nazywa pamięcią InfiniteMemory.
Współdzielona pamięć podręczna KV i wyszukiwanie wektorowe w pamięci
W pierwszej demonstracji wiele serwerów inferencyjnych współdzieliło jedną pamięć podręczną KV przechowywaną w puli pamięci CXL. Pamięć podręczna KV przechowuje kontekst, który model już przetworzył, dzięki czemu może być ponownie wykorzystany podczas generowania, a przechowywanie jej we współdzielonej puli eliminuje duplikaty, które w przeciwnym razie przechowywałby każdy serwer, a także przepływ danych między serwerami. Podejście to jest analogiczne do demonstracji pulowania CMM-D firmy Samsung z firmą AMD na tych samych targach, a nasze testy odciążenia pamięci podręcznej KV do pamięci flash obejmują niższy poziom pamięci flash.
W drugiej demonstracji wykorzystano przetwarzanie zbliżone do danych (near-data) MX1 do przyspieszenia wyszukiwania wektorowego, kluczowego kroku w potokach RAG. MX1 uruchamia wyszukiwanie w pamięci, w której znajdują się dane wektorowe, dzięki czemu duże zbiory danych nie muszą być przesyłane do procesora hosta przy każdym zapytaniu. XCENA nie opublikowała danych dotyczących opóźnień, przepustowości ani pojemności dla żadnej z demonstracji, ani nie opisała konfiguracji serwera, na której się opierają.
Pamięć hybrydowa SK hynix CXL zbudowana na MX1
Pamięć hybrydowa CXL firmy SK hynix łączy pamięć DRAM z dyskiem SSD za pośrednictwem technologii InfiniteMemory, rozszerzenia pamięci MX1 opartego na dyskach SSD. Obie firmy twierdzą, że architektura ta skaluje pojemność pamięci znacznie wykraczając poza możliwości konwencjonalnych modułów DRAM CMM-D, a jednocześnie zapewnia lepszą wydajność niż dyski SSD. Obecnie testują ją w rzeczywistych środowiskach obsługi AI. Podczas szczytu firma SK hynix zaprezentowała pamięć hybrydową w architekturze opartej na RDMA, czyli technologii pamięci współdzielonej, którą obie firmy wspólnie dopracowują, po tym jak w demonstracjach FMS 2026 firma pracowała nad pamięcią zbiorczą CXL.
Sesje z firmami Samsung, Marvell, Microsoft, Seagate i Meta
Harry Kim, dyrektor ds. produktów w XCENA, wygłosił 14 października prezentację pt. „Wprowadzenie programowania równoległego ogólnego przeznaczenia do przetwarzania bliskiego danych” i dołączył do Marvell, Samsung, SK hynix i Gottbrath Technologies w panelu dyskusyjnym na temat otwartego oprogramowania pośredniczącego dla heterogenicznej infrastruktury AI. 15 października współprowadził z Samsung Electronics sesję poświęconą rozproszonej pamięci CXL dla agentowej AI, obejmującą dynamiczne pulowanie, współdzielenie i odciążanie przetwarzania bliskiego pamięci. Tego samego dnia wybitny inżynier Grant Mackey dołączył do prelegentów z firm Microsoft, Seagate i Meta w ramach aktualizacji technicznej podprojektu OCP Composable Memory Systems Sub-Project dotyczącej ściany pamięci.
„Poprawa wydajności i efektywności infrastruktury AI nie jest już wyłącznie wyzwaniem obliczeniowym. Zależy to również od efektywnego wykorzystania pamięci i wyeliminowania problemu przenoszenia danych” – powiedział Jin Kim, prezes XCENA. Firma pozyskała do tej pory 185 milionów dolarów, w tym 135 milionów dolarów w ramach finansowania serii B. Siedziba główna znajduje się w Seongnam w Korei Południowej, a biuro w USA w Sunnyvale w Kalifornii.
Amazon