Cloudera i VAST Data nawiązały partnerstwo w celu stworzenia ujednoliconej architektury fabryki AI dla przedsiębiorstw obsługujących ciągłe obciążenia związane z uczeniem, wnioskowaniem i analizą AI. Wspólna oferta łączy konteneryzowane usługi danych Cloudera z systemem operacyjnym VAST AI, rozwiązując problem, który staje się coraz częstszy we wdrożeniach AI w przedsiębiorstwach: kosztowne klastry GPU pozostające bezczynnie w oczekiwaniu na dane.
Problem bezczynności GPU, często nazywany „głodem GPU”, pojawia się zazwyczaj, gdy organizacje obciążają obciążenia AI architekturą danych, która nigdy nie została zaprojektowana z myślą o ciągłych, wysokoprzepustowych wymaganiach nowoczesnych procesów AI. Przygotowanie danych, trenowanie, wnioskowanie i analiza konkurują o tę samą infrastrukturę, a gdy warstwa danych nie nadąża, akceleratory zatrzymują się. Cloudera i VAST pozycjonują swój połączony stos jako rozwiązanie tego wąskiego gardła, dążąc do zapewnienia GPU dostępu do danych o niskim opóźnieniu przez cały cykl życia AI.
Jak powstaje architektura
Po stronie Cloudera, firma oferuje architekturę Lakehouse, która łączy usługi inżynierii danych, streamingu, analityki, uczenia maszynowego i sztucznej inteligencji w przenośne kontenery, które mogą działać w środowiskach hybrydowych i wielochmurowych. Zapewnia to klientom spójny model operacyjny, niezależnie od miejsca, w którym faktycznie realizowane jest obciążenie.
VAST wnosi swoją architekturę Disaggregated Shared Everything (DASE) jako podstawową infrastrukturę danych, skalując się do poziomu eksabajtów, a jednocześnie integrując usługi wektorowej bazy danych z NVIDIA cuVS, umożliwiając indeksowanie i wyszukiwanie wektorowe z akceleracją GPU. System operacyjny VAST AI OS został zbudowany w oparciu o referencyjny projekt NVIDIA AI Data Platform i został zaprojektowany w celu przetwarzania ukrytych danych przedsiębiorstwa w stan gotowy do obsługi sztucznej inteligencji, który może być bezpośrednio przetwarzany przez procesy szkoleniowe i wnioskowania. Następnie Cloudera na tym fundamencie tworzy warstwy swoich usług inżynierii danych, zarządzania danymi i sztucznej inteligencji.
Połączony stos ma objąć cały proces, od pozyskiwania surowych danych, aż po wdrożenie modelu, zapewniając spójne działanie w centrach danych, chmurze prywatnej i publicznej. Cloudera i VAST twierdzą, że architektura eliminuje problem niedoboru mocy obliczeniowej GPU dzięki wykorzystaniu potoków danych o wysokiej przepustowości i niskich opóźnieniach, co z kolei powinno poprawić stabilne wykorzystanie GPU i wydajność obliczeniową. Platforma została również zaprojektowana do obsługi ustrukturyzowanych, nieustrukturyzowanych i multimodalnych zbiorów danych na dużą skalę, z korporacyjnymi mechanizmami zarządzania i kontroli zgodności przeznaczonymi dla prywatnych i suwerennych wdrożeń AI.
Integracja i wnioskowanie NVIDIA
Partnerstwo w dużej mierze opiera się na stosie rozwiązań firmy NVIDIA. Oprócz referencyjnego projektu platformy danych AI, stanowiącego podstawę systemu operacyjnego AI firmy VAST, firmy integrują oprogramowanie NVIDIA AI Enterprise we wspólnej architekturze. Usługa wnioskowania AI firmy Cloudera wykorzystuje mikrousługi NVIDIA NIM, aby umożliwić organizacjom wdrażanie i skalowanie modeli bezpośrednio na własnych danych, w tym nowszych, otwartych modeli Nemotron firmy NVIDIA.
W obszarze inżynierii danych klienci mogą przyspieszać obciążenia Apache Spark za pomocą NVIDIA cuDF, które transparentnie integruje się z Cloudera Data Engineering. Dzięki temu zadania Spark mogą korzystać z wysokoprzepustowych usług danych VAST z akceleracją GPU, co powinno pomóc w etapach przetwarzania AI wymagających dużej ilości danych, a nie tylko w ich szkoleniu i wnioskowaniu.
W szczególności w przypadku branż regulowanych Cloudera i VAST przedstawiają to jako rozwiązanie typu „od krzemu do aplikacji”, obejmujące wszystko, od podstawowego sprzętu i oprogramowania NVIDIA, aż po produkcyjne aplikacje AI, które można wdrażać lokalnie lub w chmurze, w zależności od miejsca przechowywania danych i wymogów zgodności.
Dostępność:
Firmy twierdzą, że w ramach partnerstwa połączono 60 eksabajtów danych zarządzanych przez klientów w ramach ich baz zainstalowanych, co daje obu dostawcom dużą grupę obecnych klientów korporacyjnych, do których mogą dotrzeć w miarę wzrostu zapotrzebowania na prywatną infrastrukturę AI.
Wspólne rozwiązanie Cloudera-VAST AI Factory jest już dostępne za pośrednictwem zespołów sprzedaży korporacyjnej i sieci partnerskich obu firm. Cloudera i VAST planują rozszerzyć portfolio do 2026 roku o dodatkowe architektury referencyjne, sprawdzone wzorce wdrożeń i rozwiązania branżowe.
Amazon