Firma MinIO wprowadziła ExaPOD, modułową architekturę referencyjną do tworzenia i zarządzania eksaskalową infrastrukturą AI. Została ona stworzona we współpracy z firmami Intel, Solidigm i Supermicro. ExaPOD działa na platformie MinIO AIStor, eksaskalowym systemie przechowywania danych MinIO dla firm z branży AI. Rozszerza on istniejącą koncepcję DataPOD z jednostek 100 petabajtów do bloków jednoeksabajtowych.
ExaPOD służy jako wielokrotnego użytku plan dla przedsiębiorstw i nowych dostawców usług chmurowych. Pomaga zapewnić zrównoważoną, przewidywalną i ekonomiczną wydajność sztucznej inteligencji na ekstremalną skalę w ramach kontrolowanej przez nich infrastruktury.
Rozwiązywanie prawdziwego wąskiego gardła w sztucznej inteligencji
Wraz z upowszechnianiem się agentów AI, modeli długokontekstowych i multimodalnych potoków danych, wolumeny danych rosną z petabajtów do rozmiarów liczonych w eksabajtach. W wielu zastosowaniach głównym ograniczeniem nie jest dostępność GPU, ale dostarczanie danych. GPU często pozostają bezczynne, nie z powodu braku mocy obliczeniowej, ale dlatego, że pamięć masowa i ścieżka danych nie są w stanie dostarczać danych wystarczająco szybko.
ExaPOD został zaprojektowany specjalnie po to, aby wyeliminować to wąskie gardło. Zmniejsza i stabilizuje opóźnienie w skali eksaskalowej, zapewniając szeroką i spójną ścieżkę danych. MinIO ma na celu wykorzystanie ExaPOD do stworzenia warstwy pamięci masowej i danych, która obsługuje dostęp do zestawów danych treningowych, wnioskowania i pobierania danych o wysokiej przepustowości i niskim opóźnieniu. Dzięki temu obciążenia AI otrzymują ciągły strumień danych, bez konieczności oczekiwania na wejście/wyjście.
Oprócz wydajności ExaPOD zaspokaja praktyczne potrzeby sztucznej inteligencji na dużą skalę:
- Przewidywalny całkowity koszt posiadania: Projekt referencyjny wykorzystuje powszechnie znane, standardowe w branży komponenty i programowo definiowaną pamięć masową, co pozwala na przewidywalne modelowanie kosztów w miarę wzrostu pojemności.
- Suwerenne wdrożenie lokalne: ExaPOD jest przeznaczony do działania na sprzęcie kontrolowanym przez przedsiębiorstwo lub dostawcę neocloud. Minimalizuje to nieoczekiwane koszty, zapobiega uzależnieniu od chmury i upraszcza przestrzeganie zasad dotyczących rezydencji danych i ich suwerenności.
Innymi słowy, ExaPOD to coś więcej niż tylko szybkość; sprawia on, że infrastruktura danych AI jest łatwiejsza w zarządzaniu, przewidywalna i zrównoważona w skali eksabajtów.
Architektura danych, a nie tylko modele, w centrum sztucznej inteligencji
AB Periasamy, współzałożyciel i współprezes MinIO, postrzega rozwój nowoczesnej sztucznej inteligencji jako wyzwanie dla infrastruktury danych, a nie tylko problem z modelem czy sprzętem. Uważa, że organizacje, które odniosą sukces w dziedzinie sztucznej inteligencji, to te, które przemyślą na nowo sposób przechowywania, przesyłania i dostępu do danych na dużą skalę, zachowując jednocześnie efektywność kosztową na poziomie hiperskalerów.
W tym kontekście ExaPOD oferuje przedsiębiorstwom przejrzysty, modułowy sposób budowania infrastruktury gotowej na sztuczną inteligencję bez utraty kontroli, elastyczności i transparentności kosztów. Zamiast nieprzejrzystych, uniwersalnych rozwiązań, ExaPOD oferuje strukturę identycznych, powtarzalnych bloków, które można skalować od szaf rackowych do kompletnych centrów danych, zachowując wydajność i niezawodność.
Sprzęt partnerski
Supermicro SYS-212H-TN 2U, 24 zatoki NVMe: SYS-212H-TN to gęsty, a jednocześnie zrównoważony moduł konstrukcyjny do wdrożeń w skali rack. 24 zatoki U.2 NVMe maksymalizują gęstość pamięci masowej na rack bez kompromisów w zakresie przepływu powietrza, efektywności energetycznej i łatwości serwisowania, a także obsługują chłodzenie cieczą i wysokosprawne zasilanie.
Intel Xeon 6781P (80 rdzeni, 136 linii PCIe Gen5): Procesor Xeon 6781P został wybrany ze względu na możliwość jednoczesnego nasycenia sieci NVMe o wysokiej gęstości i 400/800 GbE. Dzięki 136 liniom PCIe Gen5 obsługuje pełną paralelność na 24 dyskach NVMe i dwóch kartach sieciowych 400 GbE bez nadsubskrypcji.
Dysk SSD Solidigm D5-P5336 (122.88 TB QLC NVMe): Dzięki pojemności 122.88 TB na dysk, dysk Solidigm D5-P5336 zapewnia ekstremalną gęstość zapisu, umożliwiając systemowi ExaPOD osiągnięcie użytecznej pojemności na poziomie wielu eksabajtów przy najmniejszej i najwydajniejszej powierzchni centrum danych w branży.
Kluczowym aspektem ExaPOD jest nacisk na gęstość i efektywność energetyczną — czynniki o kluczowym znaczeniu w przypadku skal liczonych w petabajtach i eksabajtach.
ExaPOD zapewnia:
- 36 PiB użytecznej pojemności na jednostkę rack w kompaktowej konfiguracji typu „wszystko w jednym”, co znacznie zmniejsza powierzchnię potrzebną na infrastrukturę danych AI. Taka gęstość jest niezbędna w obiektach o ograniczonych możliwościach zasilania i przestrzeni fizycznej.
- Średnio 900 W na PiB użytecznej pojemności, wliczając chłodzenie. Zmniejszając zapotrzebowanie na energię w warstwie danych, ExaPOD uwalnia więcej mocy centrum danych na potrzeby procesorów graficznych i akceleratorów.
Zobacz to na SC25
Firma MinIO zaprezentuje ExaPOD na konferencji SuperComputing '25 w St. Louis w dniach 16–21 listopada.
Amazon