Oracle ha annunciato una seconda serie di funzionalità per Oracle Acceleron all'Oracle AI World di Las Vegas, un anno dopo che la suite di rete aveva inizialmente integrato fabric dedicati, reti multiplanari, SmartNIC e percorsi dati diretti per Oracle Cloud Infrastructure. Le nuove funzionalità includono RDMA sulla rete front-end condivisa di OCI, connessioni di storage a blocchi NVMe su bare metal e VM Acceleron che Oracle stimano prestazioni fino a 3 volte superiori, un plugin di comunicazione collettiva che sposta il failover e il bilanciamento del carico nei livelli NCCL e RCCL e reti multiplanari estese al traffico front-end.
"Le infrastrutture AI possono essere spietate quando si tratta di problemi di rete", ha affermato Pradeep Vincent, vicepresidente esecutivo di Compute and AI Infrastructure presso Oracle Cloud Infrastructure. "Quando migliaia di acceleratori lavorano insieme, un percorso congestionato o guasto può avere conseguenze che vanno ben oltre la singola connessione. Con Oracle Acceleron, stiamo costruendo una rete in grado di reagire reindirizzando il traffico, ripristinando le prestazioni in caso di guasti e aiutando i clienti a scalare in modo sicuro."
RDMA front-end e l'affermazione relativa allo storage a blocchi NVMe 3x
La rete front-end di OCI ospita Oracle Database, risorse di calcolo dei clienti, storage a blocchi e a oggetti, servizi SaaS e OCI, collegamenti backbone, accesso a Internet e connettività on-premise sulla stessa infrastruttura. Questo è il motivo per cui RDMA è storicamente rimasto su reti dedicate di cluster back-end. Oracle Acceleron High-Performance Fabric (HPC) integra RDMA in questo front-end condiviso per il traffico di inferenza, storage e HPC, e Oracle afferma che supporta ogni tipo di coppia di code e ogni verbo, consentendo alle applicazioni RDMA esistenti di funzionare senza modifiche. L'azienda utilizza inoltre i collegamenti front-end per connettere cluster GPU separati, mentre le infrastrutture back-end gestiscono l'addestramento all'interno di ciascun cluster.
La parte relativa allo storage riguarda le opzioni di connessione ampliate per lo storage a blocchi NVMe sui nuovi modelli bare metal e VM di Acceleron, che secondo Oracle migliorano le prestazioni dello storage a blocchi NVMe fino a 3 volte per carichi di lavoro di intelligenza artificiale, database e altri carichi di lavoro ad alta intensità di dati. Oracle non ha pubblicato la configurazione di base, il carico di lavoro né se il valore si riferisca a throughput, IOPS o latenza, e noi non abbiamo eseguito o verificato i test. Il comunicato stampa riporta la consueta clausola di esclusione di responsabilità di Oracle relativa a prodotti futuri e non fornisce date di disponibilità per nessuna delle nuove funzionalità.
Condividere un front-end tra RDMA e TCP rappresenta un problema di controllo della congestione, poiché i trasporti RDMA utilizzano in genere un controllo basato sulla velocità, mentre TCP utilizza un controllo basato sulla finestra, e un ciclo può soffocare l'altro. La soluzione di Oracle risiede nella SmartNIC di Acceleron. I bucket di token gerarchici tengono traccia della larghezza di banda per le classi RDMA e non-RDMA sotto un bucket padre condiviso e, quando i token si esauriscono, la NIC contrassegna probabilisticamente i pacchetti compatibili con ECN o scarta i rimanenti, generando un segnale di congestione graduale e prevenendo l'incast a livello del collegamento top-of-rack. Entrambe le classi possono prendere in prestito la larghezza di banda inutilizzata dall'altra.
Per gestire la congestione all'interno della rete, la SmartNIC esegue il controllo della congestione a ritardo unidirezionale (One-Way-Delay Congestion Control), misurando il ritardo del percorso in avanti in modo che un percorso inverso congestionato non generi un falso segnale. Quando rileva un ritardo elevato su un flusso, analizza tre percorsi alternativi e sposta il flusso se uno di questi è migliore; in caso contrario, ricorre alla marcatura ECN o scarta il flusso. Oracle descrive questa architettura come un sistema che richiede un supporto QoS minimo da parte degli switch, mantenendo al contempo il bypass standard del kernel e della CPU sugli host.
| Capacità | Cosa dice Oracle di fare |
|---|---|
| Oracle Acceleron High-Performance Fabric | RDMA su OCI front-end di calcolo per inferenza, archiviazione e carichi di lavoro HPC, con supporto per tutti i tipi di coppie di code e verbi. |
| Accessori di archiviazione a blocchi NVMe espandibili | Archiviazione a blocchi NVMe su hardware bare metal e VM Acceleron, prestazioni fino a 3 volte superiori (dato del fornitore) |
| Plugin della libreria di comunicazioni collettive di Oracle | Plugin di rete NCCL e RCCL che distribuisce il traffico collettivo sulla rete multiplanare di back-end, bilancia il carico in base alla congestione e gestisce il failover in caso di porte e schede di rete non funzionanti. |
| Rete multiplanare front-end trasparente | Selezione del percorso, failover e controllo della congestione per il traffico RDMA front-end, gestiti nella SmartNIC |
OCCL sposta il failover nel livello collettivo
La rete multiplanare di back-end di OCI collega schede di rete multiporta a diverse reti disgiunte, garantendo così una ridondanza n-direzionale per un'attività di training. Tuttavia, l'utilizzo di tali piani richiede funzionalità a livello di scheda di rete non sempre disponibili. Il plugin Oracle Collective Communications Library elimina questa dipendenza. Si tratta di un plugin di rete CCL che supporta nativamente le interfacce plugin NVIDIA NCCL e AMD RCCL, i framework di livello utilizzati per convertire le operazioni collettive in trasferimenti di schede di rete, e che integra funzionalità di failover, ripristino e bilanciamento del carico in base alla congestione, indipendentemente dal firmware e dalla topologia della scheda di rete.
In fase operativa, OCCL distribuisce il traffico collettivo su più coppie di code Reliable Connection standard, ne invia di più sulle coppie che mostrano una velocità di trasmissione più elevata e sposta il traffico dai percorsi congestionati a livello di messaggio e di blocco. Quando una porta o un'intera scheda di rete si guasta, indirizza il traffico collettivo verso un'altra porta o scheda di rete in modo che l'operazione continui senza un riavvio. Secondo Oracle, questo sistema è più semplice dei controller di routing che selezionano i percorsi della rete e monitorano le modifiche, e funziona sia su reti a piano singolo che a piani multipli. La stessa selezione del percorso multiplanare e il failover ora raggiungono il traffico RDMA front-end tramite quella che Oracle chiama Transparent Front-End Multiplanar Networking.
Lo stesso aggiornamento di rete ha riguardato due elementi esterni ad Acceleron. OCI Global CDN Connect offre connessioni dirette tra OCI Object Storage e Cloudflare, Fastly, Netskrt e Mainstreaming, senza costi di uscita OCI per i recuperi della cache idonei nelle regioni supportate, e Oracle ha firmato un memorandum d'intesa non vincolante con F5 per un servizio pianificato di protezione delle applicazioni web e delle API di OCI App Defense.
Amazon