Firma Dell Technologies, w ścisłej współpracy z CoreWeave, ogłosiła dostawę pierwszego w branży systemu NVIDIA GB300 NVL72. Ten kamień milowy stanowi kontynuację wcześniejszego osiągnięcia firmy Dell jako pierwszego dostawcy, który wprowadził na rynek system NVIDIA GB200, co dodatkowo umacnia jej pozycję lidera w dziedzinie infrastruktury AI. CoreWeave, wiodący dostawca usług w chmurze AI (CSP), staje się pierwszym hiperskalerem wdrażającym system NVIDIA GB300 NVL72 – chłodzony cieczą, skalowalny system AI, przeznaczony do najbardziej wymagających obciążeń korporacyjnych.
To osiągnięcie jest efektem silnego partnerstwa między firmami Dell, CoreWeave i NVIDIA, bazującego na dynamice rozwoju Dell AI Factory z firmą NVIDIA . Dell AI Factory oferuje kompleksowe i bezpieczne rozwiązania AI, dostosowane do zmieniających się potrzeb nowoczesnych przedsiębiorstw, umożliwiając organizacjom przyspieszenie inicjatyw w zakresie AI z pełnym przekonaniem.
Odblokowywanie potencjału przedsiębiorstwa dzięki CoreWeave
Wdrożenie przez CoreWeave zintegrowanych szaf Dell Integrated Rack z procesorem NVIDIA GB300 NVL72 oznacza znaczący skok w skalowalności i wydajności usług AI w chmurze. Rozwiązanie wykorzystuje chłodzone cieczą skalowalne systemy Dell Integrated Rack Scalable, oparte na serwerach PowerEdge XE9712 . Każda szafa jest wyposażona w 72 procesory graficzne NVIDIA Blackwell Ultra i 36 procesorów NVIDIA Grace opartych na architekturze ARM, co zapewnia solidną podstawę dla obciążeń AI nowej generacji.
Sercem tego systemu są procesory graficzne NVIDIA Blackwell Ultra, które zapewniają 1.5 raza więcej FLOPS-ów obliczeniowych AI w porównaniu z poprzednimi wersjami, umożliwiając szybsze i wydajniejsze przetwarzanie złożonych modeli. System oferuje również rozszerzoną pamięć HBM3e, oferując do 21 TB pamięci GPU o wysokiej przepustowości na szafę, czyli 1.5 raza więcej niż poprzednia generacja GB200 NVL72. Ten znaczący wzrost pamięci umożliwia przetwarzanie większych partii danych i bardziej złożonych modeli, co jest niezbędne do maksymalizacji przepustowości w zadaniach wnioskowania i wnioskowania AI.
Technologia NVIDIA NVLink piątej generacji zapewnia imponującą łączną przepustowość 130 TB/s, gwarantując płynną i szybką komunikację między każdym procesorem graficznym w systemie. Ten poziom łączności ma kluczowe znaczenie dla osiągnięcia maksymalnej wydajności w modelach AI, szczególnie tych działających na dużą skalę.
Sieci są dodatkowo udoskonalane dzięki technologii InfiniBand nowej generacji, z przełącznikami NVIDIA Quantum-X800 InfiniBand i kartami NVIDIA ConnectX-8 SuperNIC zapewniającymi dedykowaną łączność z każdym procesorem graficznym o przepustowości 800 gigabitów na sekundę (Gb/s). Ta architektura zapewnia najlepszy w swojej klasie zdalny dostęp do pamięci (RDMA), maksymalizując wydajność w przypadku obciążeń AI na dużą skalę.
Bezpieczeństwo i obsługa wielu dzierżawców są obsługiwane przez platformę programową NVIDIA DOCA, działającą na procesorach DPU NVIDIA BlueField-3. Ta kombinacja przyspiesza obciążenia AI, zapewniając łączność sieciową z prędkością łącza do 200 Gb/s oraz wydajny dostęp do danych przez GPU, co przekłada się na bezpieczeństwo i obsługę środowisk chmurowych z wieloma dzierżawcami.
Zaprojektowane dla sztucznej inteligencji na skalę pionierską
Rozwiązanie Dell Integrated Rack zostało zaprojektowane z myślą o szybkim wdrożeniu i bezproblemowej integracji ze środowiskami produkcyjnymi. Według firmy Dell, system może skrócić czas reakcji użytkownika nawet dziesięciokrotnie i zapewnić pięciokrotny wzrost przepustowości na wat w porównaniu z poprzednią generacją NVIDIA Hopper.
CoreWeave podkreśla, że system został stworzony specjalnie z myślą o sztucznej inteligencji na skalę pionierską, umożliwiając użytkownikom trenowanie, optymalizację i wdrażanie modeli z wieloma bilionami parametrów. Został on zaprojektowany specjalnie z myślą o wysokich wymaganiach obliczeniowych związanych ze skalowaniem wnioskowania w czasie testów, co jest kluczowym wymogiem wdrażania zaawansowanych modeli sztucznej inteligencji w środowisku produkcyjnym.
To wdrożenie znacząco usprawnia chmurową platformę AI firmy CoreWeave, upraszczając szkolenie, wnioskowanie i wnioskowanie w czasie rzeczywistym dla dużych modeli językowych. Architektura systemu obsługuje szybką komunikację między procesorami graficznymi (GPU) za pośrednictwem przełączników NVIDIA NVLink, zapewnia ponad jeden eksaflop wydajności w zakresie sztucznej inteligencji i oferuje do 40 TB szybkiej pamięci w jednej szafie.
Zaangażowanie w wydajność i skalowalność
CoreWeave planuje wprowadzać serwery Dell z akceleracją NVIDIA GB300 w ciągu roku, podkreślając swoje zaangażowanie w wydajność, skalowalność i wiodącą w branży wydajność. Inicjatywa ta jest w pełni wspierana przez Dell AI Professional Services, który oferuje dogłębną wiedzę specjalistyczną w zakresie projektowania i integracji centrów danych, zapewniając klientom optymalną wydajność i płynne przejście na infrastrukturę AI nowej generacji.
Amazon