Fabryki AI potrzebują czegoś więcej niż tylko wysokowydajnych struktur obliczeniowych, aby działać efektywnie. Podczas gdy sieci Wschód-Zachód odgrywają kluczową rolę w łączeniu procesorów GPU, struktury pamięci masowej – odpowiedzialne za łączenie szybkich macierzy dyskowych – są równie istotne. Wydajność pamięci masowej ma znaczący wpływ na wiele etapów cyklu życia AI, w tym na punkty kontrolne szkolenia i techniki wnioskowania, takie jak generacja rozszerzona o wyszukiwanie (RAG). Aby sprostać tym wymaganiom, firma NVIDIA i jej ekosystem pamięci masowej rozszerzyły platformę sieciową NVIDIA Spectrum-X, aby zwiększyć wydajność struktury pamięci masowej, przyspieszając czas uzyskiwania analiz AI.

Zrozumienie kolizji sieciowych w klastrach AI 

Kolizje sieciowe występują, gdy wiele pakietów danych próbuje jednocześnie przebyć tę samą ścieżkę sieciową, co powoduje zakłócenia, opóźnienia, a czasami konieczność retransmisji. W klastrach AI na dużą skalę takie kolizje są bardziej prawdopodobne, gdy procesory graficzne (GPU) są w pełni obciążone lub występuje duży ruch wynikający z operacji wymagających dużej ilości danych.

Ponieważ procesory graficzne przetwarzają złożone obliczenia jednocześnie, zasoby sieciowe mogą ulec nasyceniu, co prowadzi do wąskich gardeł komunikacyjnych. Spectrum-X został zaprojektowany, aby przeciwdziałać tym problemom poprzez automatyczne i dynamiczne przekierowywanie ruchu oraz zarządzanie przeciążeniem, zapewniając nieprzerwany przepływ danych krytycznych bez konieczności stosowania implementacji takich jak Enhanced ECMP firmy Meta, opisany w artykule LLAMA 3.

Optymalizacja wydajności pamięci masowej za pomocą Spectrum-X

NVIDIA Spectrum-X wprowadza adaptacyjne funkcje routingu, które minimalizują kolizje przepływów i optymalizują wykorzystanie przepustowości. W porównaniu z RoCE v2, protokołem sieciowym Ethernet powszechnie stosowanym w systemach obliczeniowych i pamięci masowej AI, Spectrum-X zapewnia wyższą wydajność pamięci masowej. Testy wykazują nawet 48% wzrost przepustowości odczytu i 41% wzrost przepustowości zapisu. Te udoskonalenia przekładają się na szybsze wykonywanie zadań AI, skracając czas realizacji zadań szkoleniowych i minimalizując opóźnienia między tokenami w zadaniach wnioskowania.

Wraz ze wzrostem złożoności obciążeń AI, rozwiązania pamięci masowej muszą ewoluować. Wiodący dostawcy pamięci masowej, w tym DDN, VAST Data i WEKA, nawiązali współpracę z firmą NVIDIA w celu integracji Spectrum-X ze swoimi rozwiązaniami pamięci masowej. Współpraca ta umożliwia infrastrukturom pamięci masowej AI wykorzystanie najnowocześniejszych możliwości sieciowych, zwiększając wydajność i skalowalność.

Superkomputer Izrael-1: weryfikacja wpływu Spectrum-X

Firma NVIDIA zbudowała generatywny superkomputer AI Israel-1 jako poligon doświadczalny do optymalizacji wydajności Spectrum-X w rzeczywistych scenariuszach. Zespół Israel-1 przeprowadził szeroko zakrojone testy porównawcze, aby ocenić wpływ Spectrum-X na wydajność sieci pamięci masowej. Korzystając z narzędzia Flexible I/O Tester (FIO), porównano standardową konfigurację sieci RoCE v2 z włączonym adaptacyjnym routingiem i kontrolą przeciążenia Spectrum-X.

Testy objęły konfiguracje od 40 do 800 procesorów graficznych, konsekwentnie wykazując wyższą wydajność dzięki Spectrum-X. Poprawa przepustowości odczytu wyniosła od 20% do 48%, a przepustowości zapisu od 9% do 41%. Wyniki te są ściśle zgodne z poprawą wydajności obserwowaną w rozwiązaniach ekosystemu partnerskiego, co dodatkowo potwierdza skuteczność tej technologii w strukturach pamięci masowej AI.

Rola sieci pamięci masowej w wydajności sztucznej inteligencji

Wydajność sieci pamięci masowej ma kluczowe znaczenie dla działania sztucznej inteligencji (AI). Uczenie modelu często trwa dni, tygodnie, a nawet miesiące, co wymaga okresowego tworzenia punktów kontrolnych , aby zapobiec utracie danych w przypadku awarii systemu. Dzięki modelom AI na dużą skalę, osiągającym stany punktów kontrolnych rzędu terabajtów, efektywne zarządzanie siecią pamięci masowej zapewnia płynną ciągłość uczenia.

Obciążenia wnioskowania oparte na RAG dodatkowo podkreślają znaczenie wysokowydajnych struktur pamięci masowej. Łącząc model LLM z dynamiczną bazą wiedzy, RAG zwiększa dokładność odpowiedzi bez konieczności ponownego trenowania modelu. Bazy wiedzy, zazwyczaj przechowywane w dużych wektorowych bazach danych, wymagają dostępu do pamięci masowej o niskim opóźnieniu, aby utrzymać optymalną wydajność wnioskowania, szczególnie w generatywnych środowiskach AI z wieloma dzierżawcami, które obsługują dużą liczbę zapytań.

Zastosowanie adaptacyjnego routingu i kontroli przeciążenia w pamięci masowej

Spectrum-X wprowadza kluczowe innowacje sieciowe Ethernet zaadaptowane z InfiniBand w celu poprawy wydajności struktury pamięci masowej:

• Trasowanie adaptacyjneSpectrum-X dynamicznie równoważy ruch sieciowy, aby zapobiegać kolizjom przepływu słoni podczas obsługi punktów kontrolnych i operacji wymagających dużej ilości danych. Przełączniki Ethernet Spectrum-4 analizują dane o przeciążeniu w czasie rzeczywistym, wybierając najmniej przeciążoną ścieżkę dla każdego pakietu. W przeciwieństwie do starszej sieci Ethernet, w której pakiety w nieprawidłowej kolejności wymagają retransmisji, Spectrum-X wykorzystuje karty SuperNIC i jednostki DPU do zmiany kolejności pakietów w miejscu docelowym, zapewniając płynne działanie i efektywniejsze wykorzystanie przepustowości.
• Kontrola zatorów: Punkt kontrolny i inne operacje związane z przechowywaniem danych w sieciach AI często powodują przeciążenia typu „wiele do jednego”, gdzie wielu klientów próbuje zapisywać dane w jednym węźle pamięci masowej. Spectrum-X łagodzi to zjawisko, regulując częstotliwość wstrzykiwania danych za pomocą telemetrii sprzętowej, zapobiegając powstawaniu punktów przeciążenia, które mogłyby obniżyć wydajność sieci.

Zapewnianie odporności w strukturach pamięci masowej AI

Wielkoskalowe fabryki AI wykorzystują rozległą sieć przełączników, kabli i transceiverów, co sprawia, że ​​odporność jest kluczowym czynnikiem dla utrzymania wydajności. Spectrum-X wykorzystuje globalne, adaptacyjne routowanie, aby szybko przekierowywać ruch w przypadku awarii łączy, minimalizując zakłócenia i utrzymując optymalne wykorzystanie macierzy pamięci masowej.

Bezproblemowa integracja ze stosem NVIDIA AI

Oprócz innowacji sprzętowych Spectrum-X, NVIDIA oferuje rozwiązania programowe przyspieszające procesy związane z pamięcią masową AI. Należą do nich:

• NVIDIA Air:Narzędzie symulacyjne oparte na chmurze do modelowania przełączników, kart SuperNIC i pamięci masowych, usprawniające wdrażanie i operacje.
• NVIDIA Cumulus Linux:Sieciowy system operacyjny z wbudowaną automatyzacją i obsługą API umożliwiający efektywne zarządzanie na dużą skalę.
• NVIDIA DOCA:Zestaw SDK dla kart SuperNIC i DPU zapewniający lepszą programowalność i wydajność pamięci masowej.
• NVIDIA NetQ:Narzędzie do walidacji sieci w czasie rzeczywistym, integrujące się z telemetrią przełącznika w celu zapewnienia lepszej widoczności i diagnostyki.
• NVIDIA GPUDirect Storage:Technologia bezpośredniego przesyłu danych optymalizująca ścieżki pamięci od pamięci masowej do procesora graficznego w celu zwiększenia przepustowości danych.

Integrując Spectrum-X z sieciami pamięci masowej, NVIDIA i jej partnerzy redefiniują wydajność infrastruktury AI. Połączenie adaptacyjnej sieci, kontroli przeciążenia i optymalizacji oprogramowania zapewnia wydajne skalowanie fabryk AI, dostarczając szybsze analizy i lepszą wydajność operacyjną.