Firma Dell Technologies wprowadziła platformę Dell AI Data Platform, zestaw technologii danych i pamięci masowej, zgodny z ekosystemem sztucznej inteligencji firmy NVIDIA, zaprojektowany, aby pomóc przedsiębiorstwom przejść od pilotaży sztucznej inteligencji do systemów agentowych o skali produkcyjnej. Platforma została zaprojektowana z myślą o rozwiązaniu znanego ograniczenia w sztucznej inteligencji przedsiębiorstw: danych, które są zbyt wolne, wyizolowane lub słabo zarządzane, aby obsługiwać obciążenia AI o wysokiej wartości.
Próbując wdrożyć agentów AI i przepływy pracy oparte na długim kontekście, organizacje często odkrywają, że czynnikiem ograniczającym nie jest wybór modelu, ale możliwość dostępu, strukturyzacji i zarządzania danymi w rozproszonych systemach. Dell pozycjonuje platformę danych AI jako część Dell AI Factory wraz z firmą NVIDIA , oferując połączony zestaw silników danych, przetwarzanie akcelerowane przez GPU oraz pamięć masową o wysokiej przepustowości.
Firma Dell powołuje się na wewnętrzne testy porównawcze, które wykazały nawet 12-krotnie szybsze indeksowanie wektorów, 3-krotnie szybsze przetwarzanie danych i 19-krotnie szybszy czas do pierwszego tokenu w porównaniu z „tradycyjnymi metodami obliczeniowymi”, przy czym przyspieszenie jest napędzane przez procesory graficzne NVIDIA i biblioteki CUDA-X zintegrowane z warstwą danych.
Automatyzacja cyklu życia danych AI za pomocą Dell Data Engines
Podstawą platformy Dell AI Data Platform jest zestaw silników danych Dell, przyspieszonych przez infrastrukturę NVIDIA AI, co pozwala zautomatyzować cykl życia danych AI i skrócić czas przygotowywania danych, przy jednoczesnym zachowaniu kontroli przedsiębiorstwa.
Rozwiązanie Dell Data Orchestration Engine, oparte na technologii przejętej przez firmę Dell Dataloop, zostało zaprojektowane do zarządzania danymi od momentu ich pobrania do gotowych do użycia w zestawach danych AI. Automatycznie wykrywa ustrukturyzowane, nieustrukturyzowane i multimodalne źródła danych, a następnie etykietuje je, wzbogaca i przekształca w uporządkowane zestawy danych, nadające się do trenowania i wnioskowania. Platforma łączy zautomatyzowane procesy przetwarzania z aktywnym uczeniem się i analizą z udziałem człowieka, aby iteracyjnie poprawiać jakość zbiorów danych i dokładność modeli bez uszczerbku dla zarządzania.
Aby przyspieszyć wdrożenie, Data Orchestration Engine zawiera platformę Marketplace z gotowymi przepływami pracy danych, które obejmują mikrousługi NVIDIA NIM, projekty NVIDIA AI oraz ponad 200 dodatkowych modeli, aplikacji i szablonów. To podejście, wzorowane na platformie Marketplace, ma na celu skrócenie czasu potrzebnego na uzyskanie wartości poprzez zapewnienie wielokrotnego użytku komponentów dla typowych korporacyjnych wzorców AI.
Integracja z NVIDIA AI Blueprints, NIM i Nemotron
Platforma Dell AI Data Platform jest zgodna z koncepcją NVIDIA AI-Q, która ma na celu tworzenie agentów AI, dostarczających praktycznych analiz danych przedsiębiorstwa. Firma Dell integruje akcelerowane przez NVIDIA silniki danych, aby wspierać efektywne przygotowywanie, wyszukiwanie i wnioskowanie danych w źródłach ustrukturyzowanych i nieustrukturyzowanych, ze szczególnym uwzględnieniem generowania danych wspomaganego wyszukiwaniem oraz przepływów pracy agentów.
Przedsiębiorstwa mogą uzyskać dostęp do biblioteki treści NVIDIA, obejmującej:
- Wstępnie zbudowane plany NVIDIA AI dla typowych wzorców agentów i aplikacji
- Mikrousługi NVIDIA NIM do wdrażania modeli i wnioskowania
- Model NVIDIA Nemotron 3 Super za pośrednictwem Dell Enterprise Hub na Hugging Face
Dzięki tej integracji klienci mogą połączyć warstwę danych i stos pamięci masowej firmy Dell z ekosystemem modeli, wnioskowań i mikrousług firmy NVIDIA w obsługiwanej konfiguracji.
Obsługa kart NVIDIA STX, Vera Rubin NVL72 i Spectrum-X
Dell dostosowuje również swoją ofertę infrastruktury do referencyjnego, modułowego projektu STX firmy NVIDIA. Firma planuje wspierać platformę NVIDIA STX, opartą na procesorach NVIDIA Vera Rubin NVL72, jednostkach DPU NVIDIA BlueField-4 oraz sieci Ethernet NVIDIA Spectrum-X. Celem jest zapewnienie modułowej, skalowalnej platformy do zarządzania danymi i przetwarzania AI, która ściśle łączy procesory graficzne (GPU), jednostki DPU i wydajne sieci z oprogramowaniem Dell do obsługi pamięci masowej i danych.
To podejście oparte na STX jest przeznaczone dla środowisk, w których konieczne jest zarządzanie, przetwarzanie i pobieranie dużych ilości danych na potrzeby szkolenia, dostrajania i wnioskowania w czasie rzeczywistym, przy jednoczesnym zachowaniu izolacji wydajności i przewidywalnej przepustowości.
Asystent AI do analizy SQL
W ramach Dell Data Analytics Engine firma Dell wprowadza Asystenta AI, który zapewnia interfejs konwersacyjny do analizy SQL. Asystent umożliwia użytkownikom biznesowym i technicznym:
- Zapytaj o dane strukturalne, korzystając z języka naturalnego zamiast surowego SQL
- Wizualizacja wyników zapytań do analizy i współpracy
- Pracuj w ramach istniejących granic zarządzania, jednocześnie rozszerzając dostęp do danych na ekspertów nieznających języka SQL
W przypadku organizacji wdrażających agentów AI, które potrzebują wysokiej jakości ustrukturyzowanych danych, ten skoncentrowany na języku SQL asystent ma na celu zmniejszenie konieczności korzystania ze specjalistycznych umiejętności inżynierii danych i przyspieszenie cykli decyzyjnych.
NVIDIA RTX PRO Blackwell i CUDA-X w warstwie danych
Kluczowym elementem konstrukcyjnym platformy Dell AI Data Platform jest integracja procesorów graficznych NVIDIA bezpośrednio z warstwą danych. Dell wykorzystuje procesory graficzne NVIDIA RTX PRO Blackwell Server Edition, aby przyspieszyć przetwarzanie danych w pobliżu ich lokalizacji.
Biblioteki NVIDIA CUDA-X, takie jak cuDF do operacji kolumnowych na danych strukturalnych i cuVS do indeksowania wektorowego, działają równolegle z silnikami danych firmy Dell, odciążając i paralelizując obciążenia danych. Firma Dell odnotowuje nawet trzykrotny wzrost wydajności zapytań SQL i dwunastokrotny wzrost wydajności indeksowania wektorowego w porównaniu z tradycyjnymi podejściami opartymi na procesorze.
Dzięki wbudowaniu przyspieszenia GPU w ścieżkę danych firma Dell zamierza zapewnić zasilanie dalszych etapów szkolenia i wnioskowania AI przygotowanymi, zindeksowanymi danymi w tempie odpowiadającym obciążeniu GPU, które jest częstym wąskim gardłem w środowiskach AI na skalę produkcyjną.
Pamięć masowa: Utrzymywanie wykorzystania procesorów graficznych na dużą skalę
W miarę jak obciążenia AI wykraczają poza fazę eksperymentów, przepustowość i opóźnienia pamięci masowej często stają się czynnikiem ograniczającym, pozostawiając kosztowne procesory graficzne bezczynnymi. Dell odpowiada na to zapotrzebowanie, oferując zoptymalizowane pod kątem AI silniki pamięci masowej, zaprojektowane z myślą o utrzymaniu wysokiej wydajności w miarę wzrostu pojemności i liczby węzłów.
System plików Dell Lightning
Dell Lightning File System to wydajny, równoległy system plików, zoptymalizowany pod kątem obciążeń związanych z trenowaniem i wnioskowaniem sztucznej inteligencji. Dell określa przepustowość do 150 GB/s na jednostkę rack, co zapewnia przewagę wydajnościową w porównaniu z tradycyjnymi systemami plików opartymi wyłącznie na pamięci flash i równoległymi.
Lightning wykorzystuje architekturę opartą na strukturze, która umożliwia bezpośredni dostęp o wysokiej przepustowości z węzłów obliczeniowych do pamięci masowej, co ma na celu utrzymanie wykorzystania GPU na odpowiednim poziomie. System integruje się z infrastrukturą AI opartą na rozwiązaniach NVIDIA i doskonale nadaje się do klastrów szkoleniowych o dużej gęstości GPU, gdzie utrzymanie stałej przepustowości ma kluczowe znaczenie.
Pamięć masowa Dell Exascale
Dell Exascale Storage to system pamięci masowej 3 w 1 do zastosowań w sztucznej inteligencji i obliczeniach o wysokiej wydajności, obsługujący współbieżne przechowywanie plików, obiektów i plików równoległych na serwerach Dell PowerEdge. Na jednej platformie sprzętowej organizacje mogą wdrożyć:
- Dell PowerScale do skalowalnego systemu plików
- Dell ObjectScale dla pamięci masowej obiektów zgodnej z S3
- System plików Dell Lightning dla równoległego systemu plików o wysokiej przepustowości
To konwergentne podejście jest ukierunkowane na wymagające obciążenia AI i HPC, w tym handel wysokoczęstotliwościowy i „neochmury”, gdzie współistnieją mieszane protokoły i ekstremalne wymagania dotyczące przepustowości. Pamięć masowa Exascale obsługuje karty sieciowe NVIDIA CX-8 i CX-9 SuperNIC oraz łącza sieciowe do 800 GbE, a firma Dell podaje wydajność do 6 TB/s na szafę dla obciążeń AI, które muszą szybko przetwarzać bardzo duże zbiory danych.
Odciążanie pamięci podręcznej KV z NVIDIA CMX i pamięcią masową Dell
Aby obsługiwać obciążenia AI o długim kontekście i agentowe, firmy Dell i NVIDIA umożliwiają odciążenie pamięci podręcznej KV z pamięci GPU do współdzielonej pamięci masowej. Dzięki technologiom pamięci masowej NVIDIA CMX i możliwościom przyspieszenia wnioskowania, pamięć podręczna KV może być wdrażana w pamięci masowej Dell CMX oraz szybkich sieciach w systemach PowerScale, ObjectScale i Lightning File System.
Przenosząc pamięć podręczną KV z ograniczonej pamięci GPU do wydajnej, współdzielonej pamięci masowej, organizacje mogą:
- Zwiększ efektywną długość kontekstu dla dużych modeli językowych
- Zachowaj ciągłość długotrwałych interakcji agentów
- Popraw wykorzystanie procesora graficznego, zwalniając pamięć VRAM do obliczeń, a nie pamięć podręczną
Jest to szczególnie istotne dla agentów AI, którzy muszą odwoływać się do obszernych danych historycznych lub prowadzić długie konwersacje ze stanem bez wyczerpywania pamięci GPU.
PowerScale pNFS dla wydajności dużych plików
Architektura równoległego systemu plików sieciowych (pNFS) Dell PowerScale , sterowana programowo, jest zoptymalizowana pod kątem przepustowości dużych plików w środowiskach AI. Dell deklaruje nawet 6-krotnie szybszą wydajność w przypadku dużych plików w porównaniu z NESv3.12.
pNFS dystrybuuje dostęp do plików pomiędzy węzłami, aby utrzymać wysoką przepustowość i zredukować liczbę punktów aktywnych, pomagając utrzymać przepływ danych do obciążeń GPU. Celem jest minimalizacja wąskich gardeł wejścia/wyjścia i skrócenie czasu bezczynności GPU, szczególnie w scenariuszach szkoleniowych z dużymi plikami punktów kontrolnych i zbiorami danych.
Dell AI Factory z NVIDIA: skala i zwrot z inwestycji
Platforma danych Dell AI Data Platform i udoskonalenia pamięci masowej pojawiają się w momencie, gdy Dell świętuje dwuletnią rocznicę powstania Dell AI Factory z firmą NVIDIA. Według Della, ponad 4,000 klientów wdraża pakiet AI Factory, a pierwsi użytkownicy deklarują nawet 2.6-krotny zwrot z inwestycji (ROI) w pierwszym roku.
Szersze portfolio Dell AI Factory obejmuje infrastrukturę, oprogramowanie, rozwiązania i usługi zaprojektowane z myślą o przeniesieniu sztucznej inteligencji z odizolowanych projektów pilotażowych do produkcji na dużą skalę. Platforma danych AI, silniki danych i stos pamięci masowej opisane w tym artykule mają na celu zaspokojenie potrzeb w zakresie dostępu do danych i wydajności w tym procesie, który w wielu środowiskach okazał się trudniejszy niż samodzielne klastry lub modele GPU.
Platforma Dell AI Data Platform z technologią NVIDIA oferuje zintegrowaną architekturę skoncentrowaną na danych, która łączy w sobie automatyzację cyklu życia, przyspieszane przez procesory graficzne przetwarzanie danych i pamięć masową o wysokiej przepustowości. Wszystko to zostało zaprojektowane w celu pełnego wykorzystania potencjału agentów i modeli AI.
Amazon