Firma PEAK:AIO wprowadziła innowacyjne rozwiązanie, które ma na celu ujednolicenie akceleracji KVCache z rozbudową pamięci GPU, odpowiadając na potrzeby dużych obciążeń AI. Ta nowa platforma zaspokaja potrzeby wnioskowania, systemów agentowych i tworzenia modeli, ponieważ aplikacje AI wychodzą poza statyczne monity, przechodząc na dynamiczne strumienie kontekstowe i długotrwałe agenty. Zmiana złożoności obciążeń AI wymaga odpowiedniej ewolucji infrastruktury, a najnowsza oferta PEAK:AIO została zaprojektowana tak, aby sprostać tym wyzwaniom.
Eyal Lemberger, współzałożyciel i główny strateg ds. sztucznej inteligencji w PEAK:AIO, podkreśla krytyczną potrzebę traktowania historii tokenów jako pamięci, a nie tradycyjnego nośnika danych. Zwraca uwagę, że nowoczesne modele sztucznej inteligencji mogą wymagać ponad 500 GB pamięci na instancję, a skalowanie pamięci musi nadążać za postępem w obliczeniach. Lemberger zauważa, że wraz z rozwojem i rosnącą złożonością modeli transformatorów, tradycyjne metody, takie jak modernizacja stosów pamięci masowej lub nadmierne rozszerzanie pamięci NVMe, przestają być wystarczające. Nowa platforma pamięci tokenów 1U firmy PEAK:AIO została zaprojektowana specjalnie z myślą o operacjach skoncentrowanych na pamięci, a nie na przechowywaniu plików, co stanowi znaczące odejście od konwencjonalnych architektur.
Architektura skoncentrowana na tokenach dla skalowalnej sztucznej inteligencji
Platforma PEAK:AIO jest pierwszą, w której wdrożono architekturę skoncentrowaną na tokenach, wykorzystującą pamięć CXL, Gen5 NVMe i GPUDirect RDMA, co pozwala na osiągnięcie stałej przepustowości na poziomie 150 GB/s i opóźnień poniżej 5 mikrosekund.
Platforma obsługuje ponowne wykorzystanie pamięci KVCache w sesjach, modelach i węzłach, co pozwala na efektywniejsze wykorzystanie pamięci i szybsze przełączanie kontekstu. Umożliwia również rozbudowę okna kontekstowego, co jest kluczowe dla utrzymania dłuższych historii LLM i obsługi bardziej złożonych interakcji AI. Odciążając pamięć GPU poprzez prawdziwą warstwowość CXL, rozwiązanie to łagodzi nasycenie pamięci GPU, częste wąskie gardło w przypadku wdrożeń AI na dużą skalę. Dostęp z ultraniskim opóźnieniem jest realizowany za pomocą protokołu RDMA przez NVMe-oF, co gwarantuje dostępność pamięci tokenów z prędkością porównywalną z prędkością pamięci RAM.
W przeciwieństwie do tradycyjnych rozwiązań pamięci masowej opartych na technologii NVMe, architektura PEAK:AIO została zaprojektowana tak, aby działać jako prawdziwa infrastruktura pamięci. Pozwala to zespołom buforować historię tokenów, mapy uwagi i dane strumieniowe z szybkością i wydajnością pamięci RAM, zamiast traktować te elementy jak pliki. Platforma jest w pełni zgodna z modelami ponownego wykorzystania i odzyskiwania pamięci KVCache firmy NVIDIA, zapewniając bezproblemową integrację zespołom pracującym z TensorRT-LLM lub Triton. Ta kompatybilność wtyczek przyspiesza wnioskowanie i zmniejsza obciążenie związane z integracją, zapewniając znaczną przewagę wydajnościową.
Lemberger podkreśla, że podczas gdy inni dostawcy próbują dostosować systemy plików do działania jak pamięć, PEAK:AIO opracował infrastrukturę, która z natury działa jak pamięć. To rozróżnienie jest kluczowe dla współczesnej sztucznej inteligencji, gdzie priorytetem jest szybki dostęp do każdego tokena, a nie tylko do pamięci masowej plików, w klasie pamięci.
Mark Klarzynski, współzałożyciel i dyrektor ds. strategii w PEAK:AIO, podkreśla wykorzystanie technologii CXL jako kluczowego wyróżnika. Opisuje platformę jako prawdziwą strukturę pamięci dla sztucznej inteligencji, w przeciwieństwie do konkurentów, którzy stosują urządzenia NVMe. Klarzynski zauważa, że ta innowacja jest niezbędna do zapewnienia rzeczywistych możliwości pamięci na dużą skalę i obsługi obciążeń AI nowej generacji.
Rozwiązanie jest w pełni definiowane programowo i działa na gotowych serwerach, dzięki czemu jest dostępne i skalowalne dla różnych środowisk korporacyjnych i chmurowych. PEAK:AIO spodziewa się, że platforma wejdzie do produkcji w trzecim kwartale, co uczyni ją przełomową technologią dla działów sprzedaży technicznej, zespołów inżynieryjnych i kadry kierowniczej, które chcą zabezpieczyć swoją infrastrukturę AI na przyszłość.
Amazon