Oracle a annoncé une deuxième série de fonctionnalités pour Oracle Acceleron lors d'Oracle AI World à Las Vegas, un an après que cette suite réseau ait initialement intégré des infrastructures dédiées, la mise en réseau multiplan, les SmartNIC et les chemins de données directs pour Oracle Cloud Infrastructure. Parmi les nouveautés figurent le RDMA sur le réseau frontal partagé d'OCI, des connexions de stockage bloc NVMe sur les serveurs physiques et les machines virtuelles Acceleron offrant des performances jusqu'à trois fois supérieures selon Oracle, un plugin de communication collective qui déplace le basculement et l'équilibrage de charge vers les couches NCCL et RCCL, et l'extension de la mise en réseau multiplan au trafic frontal.
« L’infrastructure d’IA peut se montrer impitoyable face aux perturbations du réseau », a déclaré Pradeep Vincent, vice-président exécutif, Infrastructure de calcul et d’IA chez Oracle Cloud Infrastructure. « Lorsque des milliers d’accélérateurs fonctionnent de concert, une seule connexion saturée ou défaillante peut avoir des conséquences bien plus importantes. Avec Oracle Acceleron, nous construisons un réseau capable de réagir en redirigeant le trafic, en se remettant des pannes et en aidant nos clients à évoluer en toute sécurité. »
RDMA frontal et revendication de stockage par blocs NVMe 3x
Le réseau frontal d'OCI héberge la base de données Oracle, les ressources de calcul client, le stockage bloc et objet, les services SaaS et OCI, les liaisons dorsales, l'accès Internet et la connectivité sur site. C'est pourquoi, historiquement, RDMA est resté sur des réseaux de clusters dorsaux dédiés. Oracle Acceleron High-Performance Fabric place RDMA sur ce réseau frontal partagé pour l'inférence, le stockage et le trafic HPC. Oracle affirme qu'il prend en charge tous les types de paires de files d'attente et de verbes, permettant ainsi aux applications RDMA existantes de fonctionner sans modification. L'entreprise utilise également les liaisons frontales pour connecter des clusters GPU distincts, tandis que les réseaux dorsaux gèrent l'entraînement au sein de chaque cluster.
La partie stockage concerne les options étendues de connexion de stockage bloc NVMe pour les nouveaux serveurs physiques et machines virtuelles Acceleron. Selon Oracle, ces options améliorent jusqu'à trois fois les performances du stockage bloc NVMe pour l'IA, les bases de données et autres charges de travail gourmandes en données. Oracle n'a pas publié la configuration de base, la charge de travail, ni précisé s'il s'agit du débit, des IOPS ou de la latence. Nous n'avons pas non plus effectué de tests ni d'audits. Ce communiqué inclut l'avertissement standard d'Oracle concernant les produits futurs et n'indique aucune date de disponibilité pour ces nouvelles fonctionnalités.
Le partage d'une interface entre RDMA et TCP pose un problème de contrôle de congestion, car les protocoles RDMA utilisent généralement un contrôle basé sur le débit tandis que TCP utilise un contrôle basé sur la fenêtre. Une boucle peut ainsi saturer l'autre. La solution d'Oracle réside dans l'Acceleron SmartNIC. Des compartiments de jetons hiérarchiques gèrent la bande passante des classes RDMA et non-RDMA sous un compartiment parent partagé. Lorsque le nombre de jetons est faible, la carte réseau marque de manière probabiliste les paquets compatibles ECN ou abandonne les autres, ce qui génère un signal de congestion progressif et bloque également le trafic entrant au niveau de la liaison ToR (Top-of-Rack). Chaque classe peut ainsi emprunter de la bande passante inutilisée à l'autre.
En cas de congestion au sein du réseau, la SmartNIC utilise un contrôle de congestion à délai unidirectionnel (ODC), mesurant le délai du chemin aller afin d'éviter qu'un chemin retour congestionné ne déclenche un faux signal. Lorsqu'elle détecte un délai élevé sur un flux, elle analyse trois chemins alternatifs et redirige le flux si l'un d'eux est plus rapide ; sinon, elle recourt au marquage ECN ou abandonne le flux. Oracle précise que cette conception nécessite une prise en charge QoS minimale de la part des commutateurs, tout en conservant le contournement standard du noyau et du processeur sur les hôtes.
| Capability | Ce qu'Oracle dit qu'il fait |
|---|---|
| Oracle Acceleron High-Performance Fabric | RDMA sur le front-end de calcul OCI pour les charges de travail d'inférence, de stockage et de calcul haute performance, avec prise en charge de tous les types de paires de files d'attente et de verbes |
| Extensions de stockage par blocs NVMe | Stockage par blocs NVMe sur serveurs physiques et machines virtuelles Acceleron, performances de stockage par blocs jusqu'à 3 fois supérieures (chiffre du fournisseur) |
| Module d'extension Oracle Collective Communications Library | Le plugin réseau NCCL et RCCL répartit le trafic collectif sur le réseau multiplan dorsal, équilibre la charge en fonction de la congestion et bascule en cas de défaillance des ports et cartes réseau. |
| Réseau multiplan transparent en façade | La sélection du chemin, le basculement et le contrôle de la congestion pour le trafic RDMA frontal sont gérés par la SmartNIC. |
OCCL déplace le basculement vers la couche collective
Le réseau multiplan d'OCI connecte des cartes réseau multiports à plusieurs réseaux disjoints, assurant ainsi une redondance n-way pour les tâches d'entraînement. Cependant, l'utilisation de ces plans requiert des fonctionnalités au niveau des cartes réseau qui ne sont pas toujours disponibles. Le plugin Oracle Collective Communications Library (CCL) supprime cette dépendance. Ce plugin réseau CCL prend en charge nativement les interfaces des plugins NVIDIA NCCL et AMD RCCL, les frameworks de couche utilisés pour convertir les opérations collectives en transferts de données réseau. Il intègre également la tolérance aux pannes, la récupération et l'équilibrage de charge prenant en compte la congestion, indépendamment du firmware et de la topologie des cartes réseau.
En fonctionnement, OCCL répartit le trafic collectif sur plusieurs paires de files d'attente Reliable Connection standard, privilégie les paires offrant le débit le plus élevé et désengorge les chemins au niveau des messages et des segments. En cas de défaillance d'un port ou d'une carte réseau, le trafic est redirigé vers un autre port ou une autre carte réseau afin de garantir la continuité du service sans redémarrage. Oracle affirme que cette solution est plus simple que les contrôleurs de routage qui sélectionnent les chemins d'accès et surveillent les changements, et qu'elle fonctionne aussi bien sur les réseaux mono-plan que multi-plans. Ce mécanisme de sélection de chemin multi-plans et de basculement est désormais appliqué au trafic RDMA frontal grâce à la technologie Transparent Front-End Multiplanar Networking d'Oracle.
La même mise à jour réseau concernait deux éléments extérieurs à Acceleron. OCI Global CDN Connect assure des connexions directes entre OCI Object Storage et Cloudflare, Fastly, Netskrt et Mainstreaming, sans frais de sortie OCI pour les requêtes de cache éligibles dans les régions prises en charge. Par ailleurs, Oracle a signé un protocole d'accord non contraignant avec F5 concernant un service de protection des applications web et des API OCI App Defense.
Amazon