Firma Storagereview współpracowała z Graid przy wielu projektach, w tym przy naszej najnowszej recenzji, „Storage at GPU Speed”, i wciąż imponują. W tym podcaście Brian rozmawia ze swoją przyjaciółką, Kelley Osburn, starszą dyrektor ds. rozwoju OEM i kanałów dystrybucji w Graid Technology.
Kelley jest odpowiedzialny za opracowywanie i wdrażanie strategii sprzedaży OEM i kanałów dystrybucji, zarządzanie kluczowymi partnerstwami i relacjami oraz zwiększanie obecności rynkowej i przychodów firmy. Wykorzystuje swoją wiedzę specjalistyczną z zakresu pamięci flash, pamięci masowej, wirtualizacji, chmury, DevOps oraz kontenerów/Kubernetes, aby dostarczać naszym klientom i partnerom rozwiązania o wartości dodanej.
Graid Technology oferuje funkcjonalność RAID klasy korporacyjnej dla obciążeń AI przy minimalnych zmianach w infrastrukturze. Zamiast dedykowanej sprzętowej karty RAID lub niestandardowego urządzenia, AE jest oferowane w formie licencji programowej i wykorzystuje jedynie niewielką część istniejącego procesora graficznego NVIDIA. Umożliwia to organizacjom osiągnięcie wydajności i niezawodności pamięci masowej klasy korporacyjnej bez zajmowania dodatkowych gniazd PCIe, konieczności wprowadzania zmian w infrastrukturze lub znaczącego wpływu na wydajność procesora graficznego w przypadku obciążeń związanych z trenowaniem i wnioskowaniem.
Brian i Kelley zagłębiają się w funkcjonalność rozwiązania Graid, dlaczego jest ono kluczowe w dzisiejszym krajobrazie sztucznej inteligencji i co przyniesie przyszłość.
Jeśli interesuje Cię zwiększenie wydajności macierzy RAID w przypadku obciążeń związanych ze sztuczną inteligencją bez konieczności dodawania większej liczby procesorów GPU do istniejących szaf, ten podcast jest właśnie dla Ciebie.
Jeśli nie masz czasu wysłuchać całego podcastu, podzieliliśmy go na pięciominutowe fragmenty, dzięki czemu możesz łatwo przeskakiwać między nimi, aby znaleźć potrzebne informacje.
Przewodnik słuchacza
Dlaczego Graid? Problem rozwiązany! [00-05]
- Tradycyjny RAID/MD-RAID napotkał barierę w przypadku NVMe oraz PCIe Gen4/5/6 — wąskie gardła na liniach x16.
- Niebezpieczne rozwiązania tymczasowe: RAID 0 + migawki/punkty kontrolne zwiększają ryzyko i obciążenie administracyjne.
- Ograniczenie mocy obliczeniowej procesora w MD-RAID powoduje odciągnięcie cykli od aplikacji; procesory GPU doskonale radzą sobie z parzystością równoległą/EC matematyka.
- Graid przekazuje dane do GPU i korzysta ze ścieżek peer-to-peer, dzięki czemu dane omijają kartę (bez dławika x16).
- Anegdota: Serwery z 16–44 dyskami potęgują niedopasowanie fizycznych linii w starszych systemach RAID sprzętowych.
Wyprzedzanie „limity x16” [05-10]
- Przystępne cenowo karty graficzne (A2000/A400) pełnią funkcję policjanta ruchu drogowego, a nie nośnika danych — wykorzystują routing NVMe typu peer-to-peer.
- Rzeczywiste kompilacje: ~200 GB/s z ~24 dyskami; nowe ścieżki zapewniają ~300 GB/s/serwer.
- Kompromisy projektowe: ok. 24 dyski x4 dla uzyskania maksymalnej wydajności; ponad 40 dysków x2 zwiększa pojemność/ilość operacji wejścia/wyjścia na sekundę.
- Mały rozmiar: niedroga wersja obsługuje do ~12 dysków — idealna do komputerów stacjonarnych ze sztuczną inteligencją.
- Żart: „Jak to możliwe, że jest szybszy niż x16?” — skoro dane nie przechodzą przez procesor graficzny.
Edycja AI: Wykorzystaj istniejące procesory graficzne GPU [12-15]
- Uruchom Graid na H100/Blackwell, już posiadasz; brak dodatkowego slotu na kartę graficzną RAID.
- Niewielkie rozmiary: ~6/144 SM na H100; „wypadają” podczas bezczynności, aby zwolnić zasoby.
- Technologia GPU Direct Storage umożliwia przesyłanie danych bezpośrednio z pamięci NVMe do pamięci GPU (mniejsze opóźnienie/liczba przeskoków).
- Zachowaj gniazda mid-riser dla kart sieciowych 400/800G i innych akceleratorów.
- Anegdota: „Nakarm bestię”. Nie dopuść, by GPU były pozbawione możliwości wejścia/wyjścia.
Wpływ laboratorium i wzory krawędzi [15-20]
- Niewielki wpływ na liczbę tokenów na sekundę podczas wnioskowania; pamięć masowa i sztuczna inteligencja rzadko osiągają szczyt jednocześnie.
- Wdrożenia brzegowe: pojedyncza obudowa 2U z 2 procesorami GPU do przechwytywania, lekkiego trenowania i wnioskowania na dużą skalę.
- Zachowaj sloty IO, udostępniając istniejące procesory GPU firmie Graid.
- Przykłady: modele wnioskowania w stylu YOLO dotyczące dzikiej przyrody, handlu detalicznego i innych gotowych do użycia modeli.
- Wskazówka: Dobierz wielkość magazynu tak, aby uniknąć niedoboru wody w przypadku pęknięcia rurociągu.
Integralność, przestrzenie nazw i skala [20-25]
- RAID jest bardziej przydatny na brzegu sieci: odporność pozwala zachować produktywność procesorów GPU podczas awarii.
- Błędy przejściowe: wykrywanie błędnych odczytów, odbudowa parzystości na bieżąco i przenoszenie danych.
- Duże przestrzenie nazw: dyski klasy 61/122/256 TB sprawiają, że duże, chronione pule są niezwykle cenne.
- Skalowanie poprzez JBOF NVMe-oF (RoCE/RDMA); 24-96+ urządzeń nadal wymaga RAID programowy.
- Plan działania: Większa liczba dysków + kodowanie wymazywania dla elastycznych domen ochrony.
Poza sztuczną inteligencją: bazy danych, strumieniowanie, analityka [26-30]
- Bazy danych/HFT: Redis, Aerospike i Oracle korzystają z szybkich i spójnych zapisów.
- Pobieranie danych Splunk/log: Utrzymywana przepustowość zapobiega spadkom i przeciwciśnieniom.
- Media: Serwery strumieniowe obsługujące wiele formatów 8K mogą zmniejszyć całkowitą liczbę serwerów wymaganych do realizacji danego obciążenia.
- Ograniczenia gęstości/mocy sprzyjają wyższej wydajności na RU w przypadku kolokacji.
- Ponowne kompilacje: Parzystość przepływa przez GPU; nieznaczny wzrost opóźnienia, rzadko widoczny dla aplikacji.
Plan działania, PCIe Gen6, jak się zaangażować [30-35]
- Najpierw oprogramowanie: przeniesienie Gen4 do Gen5 zwiększa wydajność, ponieważ Graid nie znajduje się na ścieżce danych.
- Pamięć flash Gen6 (~28 GB/s x4) zwiększa potrzebę usuwania wąskich gardeł.
- Matematyka peer-to-peer z odciążeniem GPU otwiera nowe generacje PCIe bez konieczności wymiany sprzętu.
- Jak kupować: katalog firmy Dell, Supermicro OEM, kanały (CDW) i Amazon.
- Poznaj Graida: partnera NVIDIA Inception, którego stoiska będą gościć na targach GTC Washington & San Jose.
Amazon