Podczas wydarzenia SC25 w St. Louis Brian spotkał się ze swoim wieloletnim przyjacielem Markiem Klarzynskim, założycielem i pełniącym obowiązki dyrektora ds. technologii w PEAK:AIO. Jeśli śledzisz StorageReview, być może znasz nasze relacje z PEAK:AIO, od regularnych wiadomości, przez medyczną sztuczną inteligencję , po ochronę zwierząt.
Jak wyjaśnia Mark, „spędził całe życie w magazynie i zna Briana od bardzo, bardzo dawna”. Widać to po bardzo szczerej, swobodnej rozmowie o sprzęcie i oprogramowaniu oraz ich ewolucji.
W tym naprawdę krótkim podcaście Brian i Mark rozmawiają o rozwoju oprogramowania, serwerach Dell PowerEdge i serwerach GPU. Mark jest podekscytowany postępem w projektowaniu sprzętu, zwłaszcza Dell PowerEdge R7725xd , opartym na procesorach AMD EPYC.
Ten krótki podcast porusza szeroki zakres tematów i warto go wysłuchać za jednym razem. Jeśli jednak nie możesz poświęcić 20 minut, podzieliliśmy go na pięciominutowe sekcje, abyś mógł swobodnie przeskakiwać między nimi.
0:00 – 5:00
- Oprogramowanie PEAK:AIO pozwala wykorzystać ekstremalną wydajność komputera Dell 7725XD.
- Nowoczesny sprzęt (procesory, NVMe, sieci) jest wreszcie na tyle dobry, że oprogramowanie może „nie przeszkadzać”.
- W PEAK:AIO usunąłem dekady przestarzałych funkcji pamięci masowej, aby zbliżyć się do gołego metalu.
- Ich zaskoczenie: komputer firmy Dell wykazał o wiele lepszą wydajność, niż się spodziewali; uznali, że testy były błędne.
- Filozofia: Tworzenie rzeczy prosty i stabilny jest bardziej skomplikowane niż tylko ich szybkie przygotowanie.
5:00 – 10:00
- PEAK:AIO zdecydowało się zachować niezależność, zamiast stać się elementem oferty wiodącego dostawcy.
- Pracują bezpośrednio z zespołami badawczymi (np. zajmującymi się modelami nowotworów mózgu), co jest bardziej satysfakcjonujące niż tylko przyspieszenie działania baz danych.
- Wczesne skupienie: kompresja tego, co wcześniej wymagało 4–10 węzłów pamięci masowej, pojedynczy wydajny serwer.
- Tradycyjne równoległe systemy plików były przeznaczone dla 10GbE + dysków twardych; obecnie wymagane są technologie NVMe i ogromna przepustowość PCIe.
- W Los Alamos budują otwarty, nowoczesny NFS tkanina — brak konieczności zamykania się na określone patenty.
10:00 – 15:00
- Lista życzeń dotycząca sprzętu: więcej linii PCIe i PCIe Gen 6, aby odblokować jeszcze większą przepustowość.
- Wizja: Serwery GPU, które są pole modelu, pole wnioskowania i węzeł pamięci masowej wszystko w jednym, ale będące częścią większej przestrzeni nazw.
- Zacznij od małego serwera GPU; gdy zabraknie pamięci, dodaj 7725XD, a PEAK:AIO automatycznie się rozszerzy i zrównoważy.
- Klienci chcą skalować pamięć masową tylko wtedy, gdy projekty AI okażą się opłacalne, a nie od razu kupować gigantyczną macierz.
- Liczy się ekonomia: nie da się uzasadnić posiadania macierzy dyskowej za 1 mln dolarów, która stoi za serwerem GPU za 300 tys. dolarów w szpitalach i podobnych budżetach.
15:00 – 20:00
- Strategia: Użyj serwery towarowe oraz oprogramowanie PEAK:AIO, które zastąpi drogie, specjalistyczne macierze pamięci masowej.
- Producenci OEM, tacy jak Dell, zajmują się podstawowymi problemami sprzętowymi; PEAK:AIO koncentruje się na oprogramowaniu, stabilności i wydajności.
- Wbudowany monitoring i inteligencja predykcyjna; lata pracy w terenie bez przestojów w pracy platformy.
- Wspólne wyniki projektu: ~70 milionów operacji wejścia/wyjścia na sekundę (IOPS) w jednym węźle i przepustowość rzędu setek GB/s — rekordowe wyniki dla tej firmy.
- Następny krok: wprowadź modele wewnątrz węzeł pamięci masowej (z wolną mocą procesora/procesora graficznego), dzięki czemu wnioskowanie odbywa się bezpośrednio w systemie, a nie przez sieć.
Amazon