Oracle anunció una segunda ronda de capacidades de Oracle Acceleron en Oracle AI World en Las Vegas, un año después de que la suite de redes incluyera por primera vez tejidos dedicados, redes multiplanares, SmartNICs y rutas de datos directas para Oracle Cloud Infrastructure. Las nuevas funcionalidades son RDMA en la red front-end compartida de OCI, conexiones de almacenamiento en bloques NVMe en configuraciones bare metal y VM de Acceleron que Oracle califica con un rendimiento de bloque hasta 3 veces superior, un complemento de comunicaciones colectivas que traslada la conmutación por error y el equilibrio de carga a la capa NCCL y RCCL, y redes multiplanares extendidas al tráfico front-end.
«La infraestructura de IA puede ser implacable en lo que respecta a la fricción de la red», afirmó Pradeep Vincent, vicepresidente ejecutivo de Infraestructura de Computación e IA de Oracle Cloud Infrastructure. «Cuando miles de aceleradores trabajan juntos, una ruta congestionada o fallida puede tener consecuencias que van mucho más allá de una sola conexión. Con Oracle Acceleron, estamos creando una red capaz de responder redirigiendo el tráfico, recuperándose de fallos y ayudando a los clientes a escalar de forma segura».
RDMA de extremo frontal y la afirmación sobre el almacenamiento en bloques NVMe 3x
La red front-end de OCI transporta Oracle Database, computación de clientes, almacenamiento de bloques y objetos, servicios SaaS y OCI, enlaces troncales, acceso a internet y conectividad local en la misma estructura, razón por la cual RDMA históricamente se ha mantenido en redes de clúster back-end dedicadas. Oracle Acceleron High-Performance Fabric coloca RDMA en ese front-end compartido para tráfico de inferencia, almacenamiento y HPC, y Oracle afirma que admite todos los tipos de pares de colas y verbos, por lo que las aplicaciones RDMA existentes se ejecutan sin cambios. La compañía también utiliza los enlaces front-end para conectar clústeres de GPU separados, mientras que las estructuras back-end gestionan el entrenamiento dentro de cada clúster.
La solución de almacenamiento amplía las opciones de conexión de almacenamiento en bloques NVMe a las nuevas configuraciones de Acceleron bare metal y VM, que según Oracle mejoran el rendimiento del almacenamiento en bloques NVMe hasta tres veces para IA, bases de datos y otras cargas de trabajo intensivas en datos. Oracle no ha publicado la configuración base, la carga de trabajo ni si la cifra se refiere al rendimiento, las IOPS o la latencia, y no la hemos probado ni auditado. El comunicado incluye la cláusula de exención de responsabilidad estándar de Oracle sobre futuros productos y no proporciona fechas de disponibilidad para ninguna de las nuevas funcionalidades.
Compartir un front-end entre RDMA y TCP supone un problema de control de congestión, ya que los protocolos RDMA suelen utilizar un control basado en la tasa y TCP un control basado en ventanas, lo que puede provocar que un bucle sature al otro. La solución de Oracle reside en la tarjeta de red inteligente Acceleron. Los depósitos de tokens jerárquicos gestionan el ancho de banda para las clases RDMA y no RDMA bajo un depósito principal compartido. A medida que los tokens se agotan, la tarjeta de red marca probabilísticamente los paquetes compatibles con ECN o descarta el resto, lo que genera una señal de congestión gradual y evita la transmisión de datos en el enlace superior del rack. Cualquiera de las clases puede tomar prestado el ancho de banda no utilizado de la otra.
Para la congestión dentro de la red, la SmartNIC ejecuta el control de congestión de retardo unidireccional, midiendo el retardo de la ruta de avance para evitar que una ruta inversa congestionada genere una señal falsa. Cuando detecta un retardo elevado en un flujo, explora tres rutas alternativas y lo redirige si alguna es mejor; si ninguna lo es, recurre al marcado ECN o descarta el flujo. Oracle describe el diseño como uno que requiere un soporte mínimo de QoS por parte de los conmutadores, manteniendo al mismo tiempo el bypass estándar del kernel y la CPU en los hosts.
| Capacidad | Lo que Oracle dice que hace |
|---|---|
| Oracle Acceleron High-Performance Fabric | RDMA en la computación front-end de OCI para cargas de trabajo de inferencia, almacenamiento y HPC, con soporte para todos los tipos de pares de colas y verbos. |
| Módulos de almacenamiento en bloques NVMe ampliados | Almacenamiento en bloques NVMe en configuraciones bare metal y VM de Acceleron, hasta 3 veces superior al rendimiento del almacenamiento en bloques (cifra del proveedor). |
| Complemento de la biblioteca de comunicaciones colectivas de Oracle | Complemento de red NCCL y RCCL que distribuye el tráfico colectivo a través de la red multiplanar de back-end, equilibra la carga según la congestión y realiza la conmutación por error en caso de puertos y NIC inactivos. |
| Redes multiplanares de interfaz transparente | La selección de ruta, la conmutación por error y el control de congestión para el tráfico RDMA de la interfaz se gestionan en la SmartNIC. |
OCCL traslada la conmutación por error a la capa colectiva.
La red multiplanar de back-end de OCI conecta tarjetas de red multipuerto a varias redes independientes, lo que proporciona redundancia de n vías para las tareas de entrenamiento. Sin embargo, el uso de estos planos requiere funcionalidades a nivel de tarjeta de red que no siempre están disponibles. El complemento Oracle Collective Communications Library elimina esta dependencia. Se trata de un complemento de red CCL que admite de forma nativa las interfaces de complemento NVIDIA NCCL y AMD RCCL, las capas que utilizan los marcos de trabajo para convertir las operaciones colectivas en transferencias de tarjeta de red. Además, incorpora conmutación por error, recuperación y equilibrio de carga sensible a la congestión, independientemente del firmware y la topología de la tarjeta de red.
En funcionamiento, OCCL distribuye el tráfico colectivo entre varios pares de colas de Reliable Connection estándar, envía más tráfico a través de los pares con mayor rendimiento y desvía el tráfico de las rutas congestionadas a nivel de mensaje y de fragmento. Cuando falla un puerto o una tarjeta de red completa, redirige el tráfico colectivo a otro puerto o tarjeta de red para que la tarea continúe sin reiniciarse. Oracle afirma que esto es más sencillo que los controladores de enrutamiento que seleccionan rutas de la estructura y supervisan los cambios, y funciona tanto en redes de un solo plano como de múltiples planos. La misma selección de ruta y conmutación por error multiplanar ahora llega al tráfico RDMA de front-end mediante lo que Oracle denomina Transparent Front-End Multiplanar Networking.
La misma actualización de red abarcó dos elementos ajenos a Acceleron. OCI Global CDN Connect proporciona conexiones directas entre OCI Object Storage y Cloudflare, Fastly, Netskrt y Mainstreaming, sin cargos de salida de OCI en las recuperaciones de caché elegibles en las regiones compatibles, y Oracle ha firmado un memorando de entendimiento no vinculante con F5 para un servicio planificado de protección de aplicaciones web y API de OCI App Defense.
Amazon