Firma NetApp zgodziła się przejąć PEAK:AIO, firmę programistyczną z Manchesteru w Wielkiej Brytanii, której metadane i równoległe NFS, zdaniem NetApp, przyspieszą rozwój infrastruktury sztucznej inteligencji. NetApp planuje połączyć usługi metadanych PEAK:AIO i technologię równoległych przestrzeni nazw z ONTAP, dążąc do stworzenia współdzielonej pamięci masowej, skalowalnej wraz z rosnącymi klastrami GPU, w architekturze, która ma obsługiwać biliony plików i wdrożenia wieloeksabajtowe. Warunki transakcji nie zostały ujawnione, a jej finalizacja zależy od spełnienia zwyczajowych warunków zamknięcia transakcji i uzyskania zgody organów regulacyjnych.
„Chmury AI potrzebują wydajnej, współdzielonej pamięci masowej, która może skalować się wraz z rosnącymi klastrami GPU, zachowując jednocześnie odporność, bezpieczeństwo i prostotę operacyjną, na której polegają organizacje” – powiedział George Kurian, CEO NetApp. „Dzięki PEAK:AIO realizujemy naszą wizję nowej generacji infrastruktury AI, która łączy skalowalne usługi metadanych ze sprawdzonym fundamentem ONTAP, aby pomóc klientom zmaksymalizować wydajność infrastruktury i wspierać AI w chmurze o hiperskalowej skali”.
Metadane, które skalują się same
NetApp opisuje architekturę, która oddziela metadane od danych, dzięki czemu usługi metadanych mogą skalować się niezależnie od pojemności. PEAK:AIO zapewnia skalowalność metadanych, globalną przestrzeń nazw i równoległy dostęp NFS dla obciążeń masowo równoległych, a NetApp oferuje ONTAP jako fundament danych, z odpornością, bezpieczeństwem i dojrzałością operacyjną, z których korzystają już jej klienci. NetApp twierdzi, że to połączenie ma na celu zmniejszenie przestojów GPU związanych z danymi i zapewnienie obecnym klientom ONTAP jasnej ścieżki rozwoju.
Najważniejszym elementem pracy PEAK:AIO nad metadanymi jest pNFS Lattice , serwer metadanych o otwartym kodzie źródłowym, skalowalny poziomo dla plików NFSv4.2 i pNFS Flex, zainicjowany przez PEAK:AIO we współpracy z Los Alamos National Laboratory i Carnegie Mellon University, a następnie opublikowany przy wsparciu Linux Foundation. Lattice dzieli autoryzację metadanych, koordynację protokołów i rozmieszczanie danych na oddzielne warstwy: wiele demonów serwera metadanych w przestrzeni użytkownika współdzieli bazę metadanych RonDB, klienci docierają do właściwego serwera metadanych poprzez standardowe odwołania NFSv4, a serwery danych to niezałatane instancje Linux knfsd obsługujące układy plików flex przez TCP lub RDMA. Kod znajduje się w serwisie GitHub na licencji MIT, z jednym plikiem GPL-2.0, w którym linkuje do RonDB. PEAK:AIO określa go jako wczesną wersję przeznaczoną do badań, rozwoju i testów, niezalecaną jeszcze do produkcji. LANL i PEAK:AIO planują zaprezentować Lattice na konferencji SNIA Developer Conference w Santa Clara w dniach 28–30 września. W programie konferencji znajdzie się również sesja Birds of a Feather prowadzona przez Gary'ego Gridera z LANL.
„NetApp i PEAK:AIO łączy wspólne przekonanie, że era sztucznej inteligencji wymaga fundamentalnie nowego podejścia do infrastruktury danych” – powiedział Mark Klarzynski, dyrektor ds. technologii i założyciel PEAK:AIO. „Najbardziej ekscytuje nas w dołączeniu do NetApp możliwość połączenia naszej kultury innowacji z zasięgiem, skalą i zaufaniem klientów globalnego lidera”.
Co widzieliśmy w PEAK:AIO
Od lat uważnie śledzimy PEAK:AIO, a wspólnym mianownikiem jest oprogramowanie, które w pełni wykorzystuje możliwości standardowych serwerów. W 2023 roku serwer danych AI PEAK:AIO osiągnął przepustowość 80 GB/s z jednego węzła pamięci masowej. W 2024 roku odwiedziliśmy londyńskie zoo, gdzie Londyńskie Towarzystwo Zoologiczne korzysta z dwóch systemów NVIDIA DGX i 1.2 PB pamięci masowej PEAK:AIO do monitorowania dzikich zwierząt. Omówiliśmy współpracę z MONAI i Solidigm w zakresie utrzymania medycznej sztucznej inteligencji w szpitalach. W 2025 roku przetestowaliśmy serwer danych AI 2U o przepustowości 1.5 PB i 120 GB/s na sprzęcie Dell i dyskach SSD Solidigm o pojemności 61 TB, a następnie platformę pamięci tokenowej CXL do ponownego wykorzystania pamięci podręcznej KV.
W naszej recenzji Dell PowerEdge R7725xd serwer utrzymywał ponad 300 GB/s na 24 dyskach Gen5 NVMe lokalnie, a PEAK:AIO dostarczył 160 GB/s przez NVMe-oF RDMA dwóm klientom na czterech łączach 200 Gb, ze śledzeniem losowej przepustowości odczytu sekwencyjnego od 32K bloków w górę. Użyliśmy również PEAK:AIO do zbudowania celu NVMe-oF na potrzeby naszej recenzji NVIDIA DGX Spark . Kiedy Brian spotkał się z Klarzynskim na SC25 na potrzeby podcastu nr 144 , mówił o tym, że PEAK:AIO pozostanie niezależny, zamiast stać się funkcją w linii produktów dużego dostawcy, a także o modelu, w którym klienci zaczynają od pamięci masowej na serwerze GPU i dodają węzły do rosnącej przestrzeni nazw w miarę udowadniania swoich projektów AI. Wydanie NetApp koncentruje się na tej samej pracy nad metadanymi i przestrzenią nazw.
Roger Cummings, prezes PEAK:AIO, jasno wyraził podejście firmy w swoim poście na LinkedInie, ogłaszając transakcję: „Nie zaczęliśmy od technologii i nie szukaliśmy problemu do rozwiązania. Zaczęliśmy od problemów, z którymi borykali się klienci, i wokół nich zbudowaliśmy strategię”.
Gdzie NetApp to prowadzi
NetApp wprowadził na rynek portfolio AFX AI w październiku ubiegłego roku, łącząc rozproszony system pamięci masowej z natywną architekturą równoległą z AI Data Engine. W lipcu firma przejęła DataPelago , aby umożliwić przetwarzanie danych GPU tam, gdzie dane już się znajdują. To drugie przejęcie firmy PEAK:AIO w ciągu około dwóch miesięcy, skoncentrowane na sztucznej inteligencji. NetApp nie ujawnił, gdzie technologia PEAK:AIO zostanie zintegrowana w pierwszej kolejności, ale niezależnie skalowalne usługi metadanych, globalna przestrzeń nazw i równoległy dostęp NFS przed ONTAP wydają się naturalnym wyborem dla rozproszonej architektury AFX.
W miarę finalizacji umowy będziemy obserwować, czy NetApp będzie nadal rozwijać Lattice w sposób otwarty; to młody projekt na licencji MIT, który inżynierowie LANL zaprezentują w tym miesiącu na konferencji SDC. PEAK:AIO zyskał również uznanie w szpitalach, uniwersytetach i laboratoriach badawczych, które nie mogły uzasadnić wykorzystania dużej macierzy opartej na jednym serwerze GPU. Ponadto, wersja NetApp została stworzona z myślą o chmurach AI w hiperskali, więc warto zobaczyć, jak sprawdzą się oba końce tego spektrum. Podoba nam się to, co zbudował PEAK:AIO, a zasięg sprzedaży NetApp i zainstalowana baza ONTAP otwierają przed tym projektem drogę do znacznie większej liczby centrów danych niż samo PEAK:AIO.
Amazon