NVIDIA i Oracle planują rozbudowę superklastrów Oracle Cloud Infrastructure (OCI) o systemy NVIDIA Vera Rubin NVL72 do skali wielogigawatowej, a procesory Vera Rubin NVL72 i NVIDIA Vera są już powszechnie dostępne w OCI. Firmy ogłosiły tę parę na konferencji Oracle AI World. Rozszerzenie to plan; ogólna dostępność to część, którą klienci mogą kupić już teraz, ukierunkowana na zadania wymagające dużego obciążenia procesora graficznego (GPU) w zakresie szkolenia i obsługi modeli granicznych oraz na zadania wymagające dużego obciążenia procesora wykonywane przez agentów pomiędzy wywołaniami modeli, z niezależnym skalowaniem mocy obliczeniowej procesora i procesora graficznego.
Dowodem na to jest platforma OpenAI, która wyszkoliła i obsłużyła platformę GPT-6 Astra w Abilene na klastrze OCI Supercluster, obejmującym ponad 100 000 procesorów graficznych NVIDIA Blackwell. „W miarę rozwoju naszych pionierskich modeli potrzebujemy infrastruktury, która będzie w stanie dotrzymać im kroku” – powiedział Sreekanth Pothanis, lider ds. inżynierii infrastruktury obliczeniowej w OpenAI. „Rozwiązanie NVIDIA Vera Rubin na platformie OCI zapewnia nam wydajność obliczeniową i skalowalność, które przyspieszają trenowanie modeli i obsługują coraz bardziej wymagające obciążenia AI”.
Stojaki NVL72 i sieci superklastrów
Każda szafa Vera Rubin NVL72 łączy 72 procesory graficzne (GPU) za pośrednictwem sieci NVLink Scale-Up. Superklastry OCI łączą te szafy z siecią Oracle Acceleron , NVIDIA Spectrum-X Ethernet z przełącznikami Spectrum-6 i jednostkami DPU BlueField-4 oraz zasilaniem i chłodzeniem klasy gigawatowej. Oracle twierdzi, że wielopłaszczyznowa sieć skaluje się na setki tysięcy procesorów graficznych. Rozbudowa Vera Rubin rozszerza systemy GB200 i GB300 NVL72, które są już dostępne w OCI, a firmy wskazują na wspólną platformę CUDA jako powód, dla którego modele i obciążenia są kompatybilne między generacjami.
HGX Rubin NVL8 wprowadza osiem procesorów graficznych do serwerów x86
OCI planuje również dodać NVIDIA HGX Rubin NVL8 , serwer x86 z ośmioma procesorami graficznymi Rubin połączonymi przez NVLink. Planowana konfiguracja obejmuje dwa 64-rdzeniowe procesory Intel Xeon 6, 4 TB pamięci DDR5 i 6.4 Tb/s sieci RDMA. Oracle pozycjonuje go jako serwer do szkolenia, dostrajania i wnioskowania, gdzie klient potrzebuje mniejszych procesorów graficznych Rubin bez rezygnacji z kompatybilności z aplikacjami x86. Żadna z firm nie podała daty premiery.
Wykonanie narzędzia agenta wsparcia procesorów Vera
Oferta procesorów Vera koncentruje się na pracy wykonywanej przez agenta pomiędzy wywołaniami modelu: wywołaniami narzędzi, wykonywaniem kodu i pobieraniem danych. Te kroki są wykonywane na procesorach, a gdy są wykonywane powoli, procesory graficzne czekają. NVIDIA i Oracle twierdzą, że wydajność pojedynczego wątku Vera przyspiesza poszczególne wywołania narzędzi i wykonywanie kodu, a przepustowość pamięci zapewnia zasilanie rdzeni podczas wykonywania przez agentów zadań współbieżnych, co łącznie skraca czas bezczynności procesora graficznego. Żadna z firm nie podaje danych dotyczących wydajności ani warunków testowych dla tego stwierdzenia.
OCI Kubernetes Engine pozwala klientom niezależnie skalować pule procesorów i GPU, a Oracle Acceleron zapewnia sprzętową izolację obciążeń uruchamiających niezaufany kod generowany przez sztuczną inteligencję. OpenAI należy do grona klientów z wczesnym dostępem. „Procesory NVIDIA Vera w OCI zapewniają światowej klasy wydajność, niezbędną do wykonywania kodu i uruchamiania narzędzi w naszych szybko rozwijających się agentowych środowiskach sandboxowych” – powiedział Uday Ruddarraju, dyrektor ds. technologii obliczeniowych w OpenAI. „Wprowadzamy Vera do produkcji w OCI, aby obsługiwać te obciążenia na dużą skalę”. Skala tego wdrożenia nie została ujawniona.
„Fabryki AI muszą być produktywne, trwałe i zamienne” – powiedział Ian Buck, wiceprezes ds. obliczeń hiperskalowych i wysokowydajnych w firmie NVIDIA, opisując cel jako infrastrukturę, która pozostaje użyteczna pomimo postępu w oprogramowaniu i obsługuje różne modele i obciążenia w miarę zmian popytu. Mahesh Thiagarajan, prezes Oracle Cloud Infrastructure, przedstawił połączenie procesorów graficznych Vera Rubin i procesorów Vera z siecią Acceleron jako sposób na utrzymanie produktywności i bezpieczeństwa procesorów graficznych w miarę wzrostu potrzeb klientów.
Amazon