Oracle heeft tijdens Oracle AI World in Las Vegas een tweede reeks nieuwe mogelijkheden voor Oracle Acceleron aangekondigd, een jaar nadat de netwerksuite voor het eerst dedicated fabrics, multiplanar networking, SmartNICs en directe datapaden voor Oracle Cloud Infrastructure bundelde. De nieuwe onderdelen zijn RDMA op het gedeelde front-end netwerk van OCI, NVMe block storage-koppelingen op Acceleron bare metal en VM-vormen die volgens Oracle tot 3x sneller zijn dan block storage, een plugin voor collectieve communicatie die failover en load balancing naar de NCCL- en RCCL-laag verplaatst, en multiplanar networking uitgebreid naar front-end verkeer.
"AI-infrastructuur kan meedogenloos zijn als het gaat om netwerkproblemen", aldus Pradeep Vincent, executive vice president, Compute and AI Infrastructure, Oracle Cloud Infrastructure. "Wanneer duizenden accelerators samenwerken, kan één overbelast of defect pad gevolgen hebben die veel verder reiken dan een enkele verbinding. Met Oracle Acceleron bouwen we een netwerk dat hierop kan reageren door verkeer om te leiden, te herstellen van storingen en klanten te helpen veilig op te schalen."
Front-End RDMA en de bewering over 3x NVMe Block Storage
Het front-end netwerk van OCI transporteert Oracle Database, klantcomputing, blok- en objectopslag, SaaS- en OCI-services, backbone-verbindingen, internettoegang en on-premises connectiviteit op één en hetzelfde platform. Daarom is RDMA van oudsher op aparte back-end clusternetwerken gebleven. De Oracle Acceleron High-Performance Fabric plaatst RDMA op die gedeelde front-end voor inferentie-, opslag- en HPC-verkeer. Oracle geeft aan dat het alle typen wachtrijparen en verbs ondersteunt, waardoor bestaande RDMA-applicaties zonder aanpassingen kunnen blijven draaien. Het bedrijf gebruikt de front-end verbindingen ook om afzonderlijke GPU-clusters met elkaar te verbinden, terwijl de back-end fabrics de training binnen elk cluster afhandelen.
Het opslaggedeelte bestaat uit de uitgebreide NVMe-blokopslagopties voor de nieuwe Acceleron bare metal- en VM-configuraties. Volgens Oracle verbeteren deze de NVMe-blokopslagprestaties tot wel drie keer voor AI-, database- en andere data-intensieve workloads. Oracle heeft de basisconfiguratie, de workload en het type (doorvoer, IOPS of latentie) niet gepubliceerd, en wij hebben deze niet getest of gecontroleerd. De release bevat Oracle's standaard disclaimer voor toekomstige producten en geeft geen beschikbaarheidsdata voor de nieuwe mogelijkheden.
Het delen van een front-end tussen RDMA en TCP is een probleem voor congestiebeheer, omdat RDMA-transporten doorgaans gebruikmaken van op snelheid gebaseerde controle en TCP van op vensters gebaseerde controle, waardoor de ene lus de andere kan blokkeren. De oplossing van Oracle zit in de Acceleron SmartNIC. Hiërarchische token buckets houden de bandbreedte bij voor RDMA- en niet-RDMA-klassen onder een gedeelde parent bucket. Wanneer het aantal tokens laag is, markeert de NIC probabilistisch ECN-compatibele pakketten of verwijdert de rest, wat een geleidelijk congestiesignaal genereert en tevens incast-verkeer op de top-of-rack-link blokkeert. Beide klassen kunnen ongebruikte bandbreedte van de andere lenen.
Om congestie binnen het netwerk te beheersen, voert de SmartNIC One-Way-Delay Congestion Control uit. Hierbij wordt de vertraging in het voorwaartse pad gemeten, zodat een overbelast retourpad geen vals signaal veroorzaakt. Wanneer de SmartNIC een verhoogde vertraging op een datastroom detecteert, onderzoekt hij drie alternatieve paden en verplaatst de datastroom als er een betere optie is. Als geen van deze opties beter is, wordt teruggevallen op ECN-markering of worden pakketten verwijderd. Oracle beschrijft het ontwerp als een ontwerp dat minimale QoS-ondersteuning van de switches vereist, terwijl de standaard kernel- en CPU-bypass op de hosts behouden blijft.
| Bekwaamheid | Wat Oracle zegt dat het doet |
|---|---|
| Oracle Acceleron High-Performance Fabric | RDMA op OCI front-end compute voor inferentie-, opslag- en HPC-workloads, met ondersteuning voor alle typen wachtrijparen en verbs. |
| Uitgebreide NVMe-blokopslagaccessoires | NVMe-blokopslag in Acceleron bare metal- en VM-vormen, tot 3x betere prestaties van blokopslag (cijfer van de fabrikant). |
| Oracle Collective Communications Library-plug-in | NCCL- en RCCL-netwerkplug-in die het collectieve verkeer verdeelt over het back-end Multiplanar Network, de belasting verdeelt op basis van congestie en overschakelt bij defecte poorten en netwerkkaarten. |
| Transparante front-end multiplanair netwerken | Padselectie, failover en congestiebeheer voor front-end RDMA-verkeer worden afgehandeld in de SmartNIC. |
OCCL verplaatst failover naar de collectieve laag.
Het Multiplanar Network van OCI verbindt multi-port NIC's met verschillende losstaande fabrics, waardoor een trainingstaak n-voudige redundantie heeft. Het gebruik van deze planes vereist echter functionaliteit op NIC-niveau die niet altijd beschikbaar is. De Oracle Collective Communications Library-plugin heft deze afhankelijkheid op. Het is een CCL-netwerkplugin die native ondersteuning biedt voor de NVIDIA NCCL- en AMD RCCL-plugininterfaces, de layer frameworks die worden gebruikt om collectieve bewerkingen om te zetten in NIC-transfers. De plugin biedt failover, herstel en congestiebewuste load balancing, onafhankelijk van de NIC-firmware en -topologie.
In de praktijk verdeelt OCCL het collectieve verkeer over meerdere standaard Reliable Connection-wachtrijparen, stuurt meer verkeer over de paren met de hoogste doorvoer en leidt het verkeer weg van overbelaste paden op bericht- en chunkniveau. Wanneer een poort of een complete netwerkkaart uitvalt, stuurt het het collectieve verkeer naar een andere poort of netwerkkaart, zodat de taak zonder herstart kan worden voortgezet. Oracle stelt dat dit eenvoudiger is dan routingcontrollers die fabric-paden selecteren en wijzigingen in de gaten houden, en dat het werkt op zowel single-plane als multi-plane netwerken. Dezelfde multiplanaire padselectie en failover bereikt nu ook front-end RDMA-verkeer via wat Oracle Transparent Front-End Multiplanar Networking noemt.
Dezelfde netwerkupdate omvatte twee items buiten Acceleron. OCI Global CDN Connect biedt directe verbindingen tussen OCI Object Storage en Cloudflare, Fastly, Netskrt en Mainstreaming, zonder OCI-uitgaande kosten voor in aanmerking komende cache-opvragingen in ondersteunde regio's. Daarnaast heeft Oracle een niet-bindende intentieverklaring getekend met F5 voor een geplande OCI App Defense-service voor de bescherming van webapplicaties en API's.




Amazon