NVIDIA e Oracle prevedono di espandere i Supercluster di Oracle Cloud Infrastructure (OCI) con i sistemi NVIDIA Vera Rubin NVL72 fino a raggiungere una scala multi-gigawatt, e sia le CPU Vera Rubin NVL72 che le CPU NVIDIA Vera sono ora generalmente disponibili su OCI. Le aziende hanno annunciato la disponibilità congiunta all'Oracle AI World. L'espansione è un piano; la disponibilità generale rappresenta la parte che i clienti possono acquistare ora, pensata per le attività ad alta intensità di GPU, come l'addestramento e la gestione dei modelli di frontiera, e per le attività ad alta intensità di CPU svolte dagli agenti tra una chiamata di modello e l'altra, con capacità di CPU e GPU scalabili in modo indipendente.
La prova a sostegno delle loro affermazioni è OpenAI, che ha addestrato e gestito il modello GPT-6 Astra ad Abilene su un supercluster OCI con oltre 100,000 GPU NVIDIA Blackwell. "Con l'avanzare dei nostri modelli di frontiera, abbiamo bisogno di un'infrastruttura in grado di tenere il passo", ha dichiarato Sreekanth Pothanis, responsabile dell'ingegneria dell'infrastruttura di calcolo presso OpenAI. "NVIDIA Vera Rubin su OCI ci offre le prestazioni di calcolo e la scalabilità necessarie per accelerare l'addestramento dei modelli e gestire carichi di lavoro di intelligenza artificiale sempre più esigenti."
Rack NVL72 e rete supercluster
Ogni rack Vera Rubin NVL72 collega 72 GPU tramite la rete scalabile NVLink. I Supercluster OCI combinano questi rack con la rete Oracle Acceleron , Ethernet NVIDIA Spectrum-X con switch Spectrum-6 e DPU BlueField-4, oltre a sistemi di alimentazione e raffreddamento di classe gigawatt. Oracle afferma che la rete multiplanare è scalabile su centinaia di migliaia di GPU. L'implementazione di Vera Rubin estende i sistemi GB200 e GB300 NVL72 già presenti su OCI, e le aziende sottolineano come la base CUDA comune sia il motivo per cui modelli e carichi di lavoro sono compatibili tra le diverse generazioni.
HGX Rubin NVL8 porta otto GPU sui server x86
OCI prevede inoltre di aggiungere NVIDIA HGX Rubin NVL8 , un server x86 con otto GPU Rubin connesse tramite NVLink. La configurazione prevista include due CPU Intel Xeon 6 a 64 core, 4 TB di memoria DDR5 e 6.4 Tbps di rete RDMA, e Oracle la propone per l'addestramento, la messa a punto e l'inferenza in situazioni in cui un cliente desidera GPU Rubin in un ingombro ridotto senza rinunciare alla compatibilità con le applicazioni x86. Nessuna delle due aziende ha fornito una data di lancio.
Esecuzione dello strumento agente di supporto per CPU Vera
L'offerta Vera CPU è pensata per le attività che un agente svolge tra una chiamata di modello e l'altra: chiamate di strumenti, esecuzione del codice e recupero dei dati. Queste operazioni vengono eseguite sulle CPU e, quando sono lente, le GPU restano in attesa. NVIDIA e Oracle affermano che le prestazioni single-thread di Vera velocizzano le singole chiamate di strumenti e l'esecuzione del codice, mentre la sua larghezza di banda della memoria alimenta i core mentre gli agenti eseguono attività simultanee, riducendo così i tempi di inattività della GPU. Nessuna delle due aziende fornisce dati sulle prestazioni o condizioni di test a supporto di tale affermazione.
OCI Kubernetes Engine consente ai clienti di scalare pool di CPU e GPU in modo indipendente, mentre Oracle Acceleron fornisce isolamento basato su hardware per i carichi di lavoro che eseguono codice non affidabile generato dall'IA. OpenAI è tra i clienti che hanno usufruito dell'accesso anticipato. "Le CPU NVIDIA Vera su OCI offrono le prestazioni di livello mondiale necessarie per eseguire codice e strumenti nei nostri carichi di lavoro sandbox agentici in rapida crescita", ha affermato Uday Ruddarraju, Chief Technology Officer per il calcolo presso OpenAI. "Stiamo portando Vera in produzione su OCI per supportare questi carichi di lavoro su larga scala". Non è stata fornita alcuna informazione sull'entità di tale implementazione.
"Le fabbriche di IA devono essere produttive, durevoli e intercambiabili", ha affermato Ian Buck, vicepresidente di hyperscale and high-performance computing presso NVIDIA, descrivendo l'obiettivo come un'infrastruttura che rimane utile nonostante i progressi del software e che supporta diversi modelli e carichi di lavoro al variare della domanda. Mahesh Thiagarajan, presidente di Oracle Cloud Infrastructure, ha presentato l'abbinamento di GPU Vera Rubin e CPU Vera con la rete Acceleron come un modo per mantenere le GPU produttive e sicure man mano che le esigenze dei clienti crescono.
Amazon