A Oracle anunciou uma segunda rodada de recursos do Oracle Acceleron no Oracle AI World em Las Vegas, um ano após o pacote de soluções de rede ter incluído pela primeira vez fabrics dedicados, redes multiplanares, SmartNICs e caminhos de dados diretos para a Oracle Cloud Infrastructure. As novas funcionalidades incluem RDMA na rede front-end compartilhada da OCI, conexões de armazenamento em bloco NVMe em servidores bare metal e máquinas virtuais Acceleron, que a Oracle avalia com desempenho até 3 vezes superior ao de blocos, um plugin de comunicações coletivas que move o failover e o balanceamento de carga para as camadas NCCL e RCCL, e redes multiplanares estendidas ao tráfego front-end.
“A infraestrutura de IA pode ser implacável quando se trata de atrito na rede”, disse Pradeep Vincent, vice-presidente executivo de Computação e Infraestrutura de IA da Oracle Cloud Infrastructure. “Quando milhares de aceleradores estão trabalhando juntos, um caminho congestionado ou com falha pode ter consequências que vão muito além de uma única conexão. Com o Oracle Acceleron, estamos construindo uma rede capaz de responder redirecionando o tráfego, recuperando-se de falhas e ajudando os clientes a escalar com segurança.”
Front-End RDMA e a alegação de armazenamento em bloco NVMe 3x
A rede front-end da OCI transporta o Oracle Database, computação do cliente, armazenamento em bloco e objeto, serviços SaaS e da OCI, links de backbone, acesso à internet e conectividade local na mesma estrutura. É por isso que o RDMA historicamente permaneceu em redes de cluster back-end dedicadas. O Oracle Acceleron High-Performance Fabric coloca o RDMA nessa front-end compartilhada para tráfego de inferência, armazenamento e HPC, e a Oracle afirma que ele suporta todos os tipos de pares de filas e verbos, de modo que os aplicativos RDMA existentes funcionam sem alterações. A empresa também usa os links front-end para conectar clusters de GPUs separados, enquanto as estruturas back-end lidam com o treinamento dentro de cada cluster.
A parte de armazenamento consiste nas opções expandidas de conexão de armazenamento em bloco NVMe nos novos servidores Acceleron, tanto em formato bare metal quanto em VM. Segundo a Oracle, essas opções melhoram o desempenho do armazenamento em bloco NVMe em até 3 vezes para IA, bancos de dados e outras cargas de trabalho com uso intensivo de dados. A Oracle não divulgou a configuração básica, a carga de trabalho, nem se o valor apresentado se refere à taxa de transferência, IOPS ou latência, e não realizamos testes ou auditorias. O comunicado inclui o aviso padrão da Oracle sobre produtos futuros e não informa datas de disponibilidade para nenhum dos novos recursos.
Compartilhar a interface entre RDMA e TCP é um problema de controle de congestionamento, já que os protocolos RDMA normalmente usam controle baseado em taxa e o TCP usa controle baseado em janela, e um circuito pode prejudicar o outro. A solução da Oracle está no Acceleron SmartNIC. Elementos hierárquicos de tokens rastreiam a largura de banda para classes RDMA e não-RDMA sob um elemento pai compartilhado. Conforme os tokens se esgotam, a placa de rede marca probabilisticamente os pacotes compatíveis com ECN ou descarta os demais, o que gera um sinal de congestionamento gradual e também impede a incast no link de topo de rack. Qualquer uma das classes pode utilizar a largura de banda não utilizada da outra.
Para lidar com congestionamentos na estrutura interna, a SmartNIC executa o Controle de Congestionamento de Atraso Unidirecional (One-Way-Delay Congestion Control), medindo o atraso no caminho de ida para que um caminho de retorno congestionado não dispare um sinal falso. Quando detecta um atraso elevado em um fluxo, ela sonda três caminhos alternativos e redireciona o fluxo se um deles for melhor; caso contrário, ela recorre à marcação ECN ou descarta a conexão. A Oracle descreve o projeto como necessitando de suporte mínimo de QoS dos switches, mantendo o bypass padrão de kernel e CPU nos hosts.
| Capacidade | O que a Oracle diz que faz |
|---|---|
| Oracle Acceleron High-Performance Fabric | Computação de front-end RDMA em OCI para inferência, armazenamento e cargas de trabalho de HPC, com suporte para todos os tipos de pares de filas e verbos. |
| Conexões de armazenamento em bloco NVMe expandidas | Armazenamento em bloco NVMe em formatos bare metal e VM do Acceleron, com desempenho de armazenamento em bloco até 3 vezes superior (dados do fornecedor). |
| Plugin da Biblioteca de Comunicações Coletivas da Oracle | Plugin de rede NCCL e RCCL que distribui o tráfego coletivo pela rede multiplanar de back-end, balanceia a carga por congestionamento e realiza failover em caso de portas e NICs inativas. |
| Redes multiplanares front-end transparentes | Seleção de caminho, failover e controle de congestionamento para tráfego RDMA de front-end, gerenciados no SmartNIC. |
OCCL move o failover para a camada coletiva.
A rede multiplanar de back-end da OCI conecta NICs multiportas a diversas estruturas distintas, de modo que uma tarefa de treinamento tenha redundância n-way. No entanto, o uso desses planos requer funcionalidades em nível de NIC que nem sempre estão disponíveis. O plugin Oracle Collective Communications Library (CCL) elimina essa dependência. Trata-se de um plugin de rede CCL que oferece suporte nativo às interfaces de plugin NVIDIA NCCL e AMD RCCL, as estruturas de camada usadas para transformar operações coletivas em transferências de NIC, e incorpora recursos de failover, recuperação e balanceamento de carga com reconhecimento de congestionamento, independentemente do firmware e da topologia da NIC.
Em operação, o OCCL distribui o tráfego coletivo entre vários pares de filas Reliable Connection padrão, priorizando os pares com maior taxa de transferência e desviando o tráfego de caminhos congestionados, tanto em nível de mensagem quanto de bloco. Quando uma porta ou uma NIC inteira falha, o OCCL direciona o tráfego coletivo para outra porta ou NIC, permitindo a continuidade da operação sem a necessidade de reinicialização. A Oracle argumenta que esse método é mais simples do que controladores de roteamento que selecionam caminhos na malha de rede e monitoram mudanças, funcionando tanto em redes de plano único quanto em redes multiplanares. Essa mesma seleção de caminho multiplanar e failover agora alcança o tráfego RDMA de front-end por meio do que a Oracle chama de Rede Multiplanar Transparente de Front-End.
A mesma atualização de rede abordou dois itens fora do Acceleron. O OCI Global CDN Connect fornece conexões diretas entre o OCI Object Storage e Cloudflare, Fastly, Netskrt e Mainstreaming, com cobrança zero de saída do OCI em buscas de cache elegíveis em regiões suportadas, e a Oracle assinou um memorando de entendimento não vinculativo com a F5 para um serviço planejado de proteção de aplicativos web e APIs, o OCI App Defense.
Amazon