Oracle tillkännagav en andra omgång av Oracle Acceleron-funktioner på Oracle AI World i Las Vegas, ett år efter att nätverkssviten först paketerade dedikerade strukturer, multiplanärt nätverk, SmartNIC:er och direkta datavägar för Oracle Cloud Infrastructure. De nya delarna är RDMA på OCI:s delade frontend-nätverk, NVMe-blocklagringstillbehör över Acceleron bare metal och VM-former som Oracle bedömer med upp till 3 gånger högre blockprestanda, ett kollektivt kommunikationsplugin som flyttar redundans och lastbalansering till NCCL- och RCCL-lagren, och multiplanärt nätverk utökat till frontend-trafik.
”AI-infrastruktur kan vara oförlåtande när det gäller nätverksfriktion”, säger Pradeep Vincent, vice vd för Compute and AI Infrastructure, Oracle Cloud Infrastructure. ”När tusentals acceleratorer arbetar tillsammans kan en överbelastad eller misslyckad anslutning få konsekvenser långt utöver en enda anslutning. Med Oracle Acceleron bygger vi ett nätverk som kan reagera genom att omdirigera trafik, återhämta sig från fel och hjälpa kunder att skala upp säkert.”
Front-End RDMA och påståendet om 3x NVMe-blocklagring
OCIs frontend-nätverk hanterar Oracle Database, kundberäkning, block- och objektlagring, SaaS- och OCI-tjänster, stamnätslänkar, internetåtkomst och lokala anslutningar på samma fabrik, vilket är anledningen till att RDMA historiskt sett har hållits på dedikerade backend-klusternätverk. Oracle Acceleron High-Performance Fabric placerar RDMA på den delade frontend-plattformen för inferens, lagring och HPC-trafik, och Oracle säger att de stöder alla köpartyper och verb, så befintliga RDMA-applikationer körs utan ändringar. Företaget använder också frontend-länkarna för att ansluta separata GPU-kluster medan backend-strukturerna hanterar träning inuti varje kluster.
Lagringshalvan är de utökade NVMe-blocklagringsalternativen för de nya Acceleron Bare Metal- och VM-formerna, vilket Oracle säger förbättrar NVMe-blocklagringsprestanda med upp till 3x för AI-, databas- och andra dataintensiva arbetsbelastningar. Oracle har inte publicerat baslinjekonfigurationen, arbetsbelastningen eller huruvida siffran är dataflöde, IOPS eller latens, och vi körde eller granskade den inte. Utgåvan innehåller Oracles standardfriskrivning för framtida produkter och anger inga tillgänglighetsdatum för någon av de nya funktionerna.
Att dela ett frontend mellan RDMA och TCP är ett problem med överbelastningskontroll, eftersom RDMA-transporter vanligtvis använder hastighetsbaserad kontroll och TCP använder fönsterbaserad kontroll, och den ena loopen kan svälta den andra. Oracles svar finns i Acceleron SmartNIC. Hierarkiska token-buckets spårar bandbredd för RDMA- och icke-RDMA-klasser under en delad förälderbucket, och när tokens får lågt markerar NIC probabilistiskt ECN-kompatibla paket eller släpper resten, vilket producerar en gradvis överbelastningssignal och även avleder incast vid top-of-rack-länken. Endera klassen kan låna oanvänd bandbredd från den andra.
För överbelastning inuti infrastrukturen kör SmartNIC One-Way-Delay Congestion Control, som mäter fördröjning i framåtriktad väg så att en överbelastad bakåtriktad väg inte utlöser en falsk signal. När den ser förhöjd fördröjning i ett flöde undersöker den tre alternativa vägar och flyttar flödet om en av dem är bättre; om ingen är det, återgår den till ECN-märkning eller släpper flödet. Oracle beskriver designen som att den behöver minimalt QoS-stöd från switcharna samtidigt som standardkärn- och CPU-bypass bibehålls på värdarna.
| Capability | Vad Oracle säger att det gör |
|---|---|
| Oracle Acceleron högpresterande tyg | RDMA på OCI-frontend-beräkning för inferens, lagring och HPC-arbetsbelastningar, med stöd för alla köpartyper och verb |
| Utökade NVMe-blocklagringstillbehör | NVMe-blocklagring över Acceleron Bare Metal- och VM-former, upp till 3x blocklagringsprestanda (leverantörssiffra) |
| Oracle Collective Communications Library-plugin | NCCL- och RCCL-nätverksplugin som sprider kollektiv trafik över backend-multiplanärnätverket, lastbalanserar efter överbelastning och redundansövergår runt döda portar och nätverkskort |
| Transparent frontend multiplanärt nätverk | Sökvägsval, redundansväxling och överbelastningskontroll för front-end RDMA-trafik, hanteras i SmartNIC |
OCCL flyttar redundans till det kollektiva lagret
OCI:s backend-multiplanära nätverk ansluter nätverkskort med flera portar till flera disjunkta strukturer så att ett träningsjobb har n-vägsredundans, men användningen av dessa plan har krävt funktionalitet på nätverkskortsnivå som inte alltid är tillgänglig. Pluginet Oracle Collective Communications Library tar bort det beroendet. Det är ett CCL-nätverksplugin som nativt stöder plugingränssnitten NVIDIA NCCL och AMD RCCL, de lagerramverk som används för att omvandla kollektiva operationer till nätverkskortsöverföringar, och det har redundans-, återställnings- och överbelastningsmedveten lastbalansering inuti pluginet, oberoende av nätverkskortsfirmware och topologi.
I drift distribuerar OCCL kollektiv trafik över flera standardköpar för Reliable Connection, skickar mer trafik över paren med högre dataflöde och flyttar trafik bort från överbelastade sökvägar på meddelande- och chunknivå. När en port eller ett helt nätverkskort misslyckas styrs kollektivet till en annan port eller ett annat nätverkskort så att jobbet fortsätter utan omstart. Oracles uppfattning är att detta är enklare än routingkontroller som väljer infrastruktursökvägar och övervakar ändringar, och det fungerar både på enplans- och flerplansnätverk. Samma val av flerplanssökväg och redundansväxling når nu frontend-RDMA-trafik genom det Oracle kallar Transparent Front-End Multiplanar Networking.
Samma nätverksuppdatering omfattade två punkter utanför Acceleron. OCI Global CDN Connect tillhandahåller direkta anslutningar mellan OCI Object Storage och Cloudflare, Fastly, Netskrt och Mainstreaming, med noll OCI-utgående avgifter för kvalificerade cache-hämtningar i regioner som stöds, och Oracle har tecknat ett icke-bindande samförståndsavtal med F5 för en planerad OCI App Defense-webbapplikation och API-skyddstjänst.
Amazon