A NVIDIA continua a evolução da Unidade de Processamento de Dados (DPU) com o lançamento da NVIDIA BlueField-2. A DPU NVIDIA BlueField-2 é considerada a infraestrutura de data center em um chip, otimizada para cargas de trabalho de nuvem corporativa e HPC. A BlueField-2 combina o adaptador de rede NVIDIA ConnectX-6 Dx com uma variedade de núcleos Arm e recursos de aceleração específicos para infraestrutura, oferecendo mecanismos de aceleração de hardware desenvolvidos para essa finalidade, com total programabilidade por software. Brian conversou com a NVIDIA no início deste ano em um de seus podcasts regulares. Você pode encontrar mais detalhes sobre a DPU da NVIDIA aqui.
Os recursos são impressionantes, mas primeiro vamos dar uma olhada na evolução do DPU. Se você não conhece o histórico, pode pular para os detalhes do NVIDIA BlueField-2. Tudo começou nos anos 90, quando os processadores Intel x86 forneceram poder incomparável para empresas, combinados com um sistema operacional. Em seguida veio o cliente/servidor, e então o advento do processamento distribuído. O desenvolvimento de software e os bancos de dados crescentes aceleraram rapidamente, causando uma explosão de implantação de hardware no data center.
No início dos anos 2000, a VMware introduziu o hipervisor ESX e virtualizou a CPU x86, permitindo que várias instâncias do sistema operacional fossem executadas em um único servidor. As VMs não eram necessariamente novas; A IBM executou máquinas virtuais em seus mainframes por muitos anos antes de criar o hipervisor ESX. No entanto, esse desenvolvimento levou ao crescimento da agregação da infraestrutura do data center.
O hardware agora era programável com desenvolvedores escrevendo códigos que definiam e provisionavam máquinas virtuais sem intervenção manual. Isso levou ao eventual impulso para a migração para a computação em nuvem.
A VMware percebeu o sucesso de sua plataforma ESX e mudou rapidamente para armazenamento e virtualização de rede. Para não ficar atrás, a EMC se uniu à Cisco para criar sua própria rede virtualizada e solução de armazenamento. Uma enxurrada de aquisições ocorreu. A VMware desenvolveu o vSANS integrado à sua plataforma vSphere.
O desenvolvimento dessa infraestrutura convergente é chamado de Software-Defined Data Center (SDDC). As grandes empresas, Microsoft, VMware, Cisco e EMC, lutaram para conquistar o mercado de SDDC. Tudo se tornou programável: E/S, segurança, sistema operacional, aplicativos etc. O SDDC era apenas um componente da CPU, sobrecarregando os recursos disponíveis usados para outros serviços.
Toda essa convergência e programabilidade levam ao desenvolvimento da Inteligência Artificial (IA), onde as GPUs foram desenvolvidas para atender aos requisitos de processamento desses aplicativos com uso intensivo de gráficos. Isso leva ao desenvolvimento de hardware descarregando algumas das operações da CPU. As funções de rede, normalmente intensivas em CPU, foram descarregadas e a NVIDIA aproveitou essa nova oportunidade, adquirindo a Mellanox para desenvolver adaptadores de rede inteligentes.
As GPUs se tornaram mais inteligentes e as NICs inteligentes foram essenciais para remover a rede e o processamento gráfico da agregação geral do SDDC. Em última análise, o desenvolvimento do DPU é o resultado da inteligência descarregada da CPU.
O novo NVIDIA BlueField-2 DPU criou um sistema em um chip que combina CPU multi-core, interface de rede de alto desempenho e mecanismos de aceleração programáveis.
NVIDIA BlueField-2 DPU – A carne
CPU v GPU v DPU: o que torna um DPU diferente?
Um DPU é uma nova classe de processadores programáveis que combina três elementos-chave. Um DPU é um sistema em um chip, ou SoC, que combina:
- Uma CPU multi-core programável por software, de alto desempenho e padrão do setor, normalmente baseada na arquitetura Arm amplamente usada, fortemente acoplada aos outros componentes SoC.
- Uma interface de rede de alto desempenho capaz de analisar, processar e transferir dados com eficiência na taxa de linha ou na velocidade do restante da rede para GPUs e CPUs.
- Um rico conjunto de mecanismos de aceleração flexíveis e programáveis que descarregam e melhoram o desempenho de aplicativos para IA e aprendizado de máquina, segurança, telecomunicações e armazenamento, entre outros.
O NVIDIA® BlueField®-2 DPU é a primeira infraestrutura de data center em um chip otimizada para nuvem moderna e HPC. Fornecendo um amplo conjunto de serviços acelerados de rede definida por software, armazenamento, segurança e gerenciamento com a capacidade de descarregar, acelerar e isolar a infraestrutura do data center. Equipado com Ethernet de 200 Gb/s ou conectividade InfiniBand, o BlueField-2 DPU acelera o caminho da rede para o plano de controle e o plano de dados e está armado com segurança de “confiança zero” para evitar violações de dados e ataques cibernéticos.
O NVIDIA ConnectX®-6 Dx combina o adaptador de rede com uma variedade de núcleos Arm® e descarregamentos específicos de infraestrutura, oferecendo mecanismos de aceleração de hardware desenvolvidos especificamente com programação de software completa. Localizado na borda de cada servidor, o BlueField-2 capacita cargas de trabalho de nuvem e inteligência artificial (IA) ágeis, seguras e de alto desempenho e reduz o TCO enquanto aumenta a eficiência do data center.
A estrutura de software NVIDIA DOCA™ permite que os desenvolvedores criem rapidamente aplicativos e serviços para o BlueField-2 DPU. A NVIDIA DOCA aproveita os aceleradores de hardware DPU, aumentando o desempenho, a eficiência e a segurança do data center.
Recursos de DPU NVIDIA BlueField-2
Interfaces de rede e host |
Armazenamento |
| Interfaces de rede | BlueField SNAP – NVMe™ e VirtIO-blk |
| Ethernet – Portas duplas de 10/25/50/100 Gb/s ou uma única porta de 200 Gb/s | Aceleração NVMe-oF™ |
| InfiniBand – portas duplas de EDR / HDR100 ou porta única de HDR | Aceleração de compressão e descompressão |
| Interface PCI Express | Hash de dados e desduplicação |
| 8 ou 16 pistas de PCIe Gen 4.0 | Conectores M.2 / U.2 para armazenamento de conexão direta |
| Bifurcação do switch PCIe com 8 portas downstream | Networking |
| Subsistema ARM/DDR | RoCE, Toque Zero RoCE |
| núcleos de braço | Descarregamentos sem estado para: |
| Até 8 núcleos Armv8 A72 pipeline (64 bits) | TCP/UDP/IP |
| Cache L1 de 2 MB por 2 núcleos | LSO/LRO/soma de verificação/RSS/TSS/HDS |
| Cache L6 de 3 MB com pluralidade de políticas de despejo | Inserção/remoção de VLAN |
| Suporte DDR4 DIMM | SR-IOV |
| Único controlador DDR4 DRAM | VirtIO-net |
| 8 GB / 16 GB / 32 GB de DDR4 integrado | Multifunção por porta |
| Suporte de proteção contra erros ECC | Suporte VMware NetQueue |
| Acelerações de hardware | Hierarquias de virtualização |
| Total | Níveis de QoS de entrada e saída de 1K |
| Inicialização segura com raiz de confiança de hardware | Opções de inicialização |
| Atualização segura de firmware | Inicialização segura (autenticada por RSA) |
| Compatível com Cerberus | Inicialização remota por Ethernet |
| Aceleração de expressão regular (RegEx) | Inicialização remota por iSCSI |
| Criptografia de dados em movimento IPsec/TLS | PXE e UEFI |
| Chave AES-GCM 128/256 bits | e Autônoma |
| Criptografia de dados em repouso AES-XTS de 256/512 bits | Porta de gerenciamento fora de banda de 1 GbE |
| Aceleração de hardware SHA de 256 bits | NC-SI, MCTP sobre SMBus e MCTP sobre PCIe |
| Acelerador de chave pública de hardware | PLDM para Monitor e Controle DSP0248 |
| RSA, Diffie-Hellman, DSA, ECC, | PLDM para atualização de firmware DSP026 |
| EC-DSA, EC-DH | Interface I2C para controle e configuração de dispositivos |
| Gerador de números aleatórios verdadeiro (TRNG) | Interface SPI para piscar |
| controlador de memória eMMC | |
| UART | |
| USB |
Uma DPU para armazenamento, redes e aprendizado de máquina
Vamos dar uma olhada em como o novo BlueField-2 lida com tecnologias de armazenamento rápido. A BlueField oferece uma solução completa para plataformas de armazenamento, como NVMe over Fabrics (NVMe-oF), All-Flash Array (AFA) e um controlador de armazenamento para JBOF, cache de servidor (memcached), armazenamento em rack desagregado e escalonamento direto armazenamento anexo. A inteligência deste DPU o torna uma escolha flexível.
A NVIDIA publicou aqui os resultados impressionantes de seus testes com o BlueField-2 . O ambiente de teste está descrito no blog.
Solução completa de armazenamento
O BlueField-2 utiliza o poder de processamento dos núcleos Arm para aplicativos de armazenamento, como matrizes All-Flash usando NVMe-oF, Ceph, Lustre, descarregamento iSCSI/TCP, Flash Translation Layer, compactação/descompactação de dados e desduplicação.
Em arrays de armazenamento de alto desempenho, o BlueField-2 funciona como a CPU principal do sistema, lidando com tarefas do controlador de armazenamento e terminação de tráfego. Ele também pode ser configurado como um coprocessador, descarregando tarefas específicas de armazenamento do host, isolando parte da mídia de armazenamento do host ou permitindo a abstração da lógica de armazenamento definida por software usando os núcleos BlueField Arm.
Capacidades de NVMe sobre malhas
Utilizando os recursos avançados de NVMe-oF, a tecnologia baseada em BlueField RDMA oferece desempenho de acesso remoto ao armazenamento igual ao do armazenamento local, com sobrecarga mínima da CPU, permitindo armazenamento desagregado eficiente e soluções hiperconvertidas.
Aceleração de armazenamento
O switch PCIe integrado BlueField permite que os clientes criem appliances de armazenamento independentes e conectem um único BlueField a vários dispositivos de armazenamento sem a necessidade de um switch externo.
Entrega de Assinatura
O controlador de rede embarcado BlueField permite a verificação por hardware do campo de integridade de dados/informações de proteção T10 (T10-DIF/PI), reduzindo a sobrecarga de software e acelerando a entrega de dados para o aplicativo. A transferência de assinatura é gerenciada pelo adaptador nos pacotes de entrada e saída, reduzindo a carga no software das máquinas iniciadora e de destino.
BlueField para redes e segurança
Seja na forma de uma smartNIC ou como uma plataforma de rede independente, o novo Bluefield-2 proporciona uma implementação eficiente de aplicações de rede. Utilizando uma combinação de recursos avançados de descarregamento de processamento e capacidades de computação Arm, o BlueField realiza a terminação de protocolos de rede e segurança em linha.
BlueField SmartNIC
Como um adaptador de rede, você obtém a flexibilidade de implementar total ou parcialmente os planos de dados e de controle, permitindo um uso mais eficiente dos recursos computacionais. A programabilidade do adaptador proporciona a capacidade de integrar novas funcionalidades aos planos de dados e de controle.
Recursos de segurança do BlueField
Em termos de segurança, a integração de recursos de descarregamento de criptografia para operações criptográficas simétricas e assimétricas torna essa solução uma excelente escolha para a implementação de aplicações de segurança. A segurança está intrinsecamente ligada à infraestrutura do data center, reduzindo a exposição a ameaças, minimizando riscos e permitindo a prevenção, detecção e resposta a potenciais ameaças em tempo real.
Virtualização indolor
Com a tecnologia PCIe SR-IOV da NVIDIA, os administradores de data centers se beneficiarão de uma melhor utilização dos servidores, reduzindo custos, consumo de energia e a complexidade da fiação, permitindo mais máquinas virtuais e mais clientes no mesmo hardware. Isso certamente resolve quaisquer preocupações com o custo total de propriedade (TCO).
Redes de sobreposição
Os operadores de data centers utilizam tecnologias de sobreposição de rede (VXLAN, NVGRE, GENEVE) para superar barreiras de escalabilidade. Ao fornecer mecanismos avançados de descarregamento que encapsulam/desencapsulam os cabeçalhos do protocolo de sobreposição, esta DPU permite que os descarregamentos tradicionais operem nos protocolos tunelados e também descarrega as capacidades de roteamento NAT.
BlueField para ambientes de aprendizado de máquina
Obviamente, a NVIDIA abordou o mercado de IA/ML com esta nova DPU, fornecendo soluções econômicas e integrativas para dispositivos de aprendizado de máquina. Várias GPUs podem ser conectadas por meio da interface PCIe Gen 3.0/4.0. Com suas tecnologias RDMA e GPUDirect® RDMA, o BlueField-2 oferece entrega de dados eficiente para análises e insights de dados em tempo real.
Aceleração RDMA
O hardware do caminho de dados do controlador de rede utiliza tecnologia RDMA e RoCE, oferecendo baixa latência e alta taxa de transferência com ciclos de CPU próximos de zero.
BlueField para plataformas multi-GPU
O BlueField-2 permite a conexão de múltiplas GPUs através de seu switch PCIe integrado. O suporte a PCIe 4.0 no BlueField garante compatibilidade com dispositivos de GPU de última geração.
PeerDirect ®
O PeerDirect, um produto da Mellanox, é uma arquitetura de comunicação acelerada que suporta a comunicação ponto a ponto entre o BlueField e hardware de terceiros, como GPUs (por exemplo, NVIDIA GPUDirect RDMA), adaptadores de coprocessador (por exemplo, Intel Xeon Phi) ou adaptadores de armazenamento. O PeerDirect fornece uma arquitetura padronizada onde os dispositivos podem se comunicar diretamente com dispositivos remotos através da malha, evitando cópias desnecessárias na memória do sistema e sobrecarga da CPU, copiando dados diretamente de/para os dispositivos.
Tecnologia GPUDirect RDMA
O rápido aumento no desempenho do hardware gráfico, aliado às recentes melhorias na programabilidade das GPUs, tornou os aceleradores gráficos uma plataforma atraente para tarefas computacionalmente exigentes em uma ampla variedade de domínios de aplicação. Como as GPUs oferecem um alto número de núcleos e recursos de operações de ponto flutuante, é necessário um sistema de rede de alta velocidade para conectar as plataformas e fornecer alta taxa de transferência e a menor latência possível para a comunicação entre GPUs . O GPUDirect RDMA é uma tecnologia implementada nas GPUs Bluefield-2 e NVIDIA que permite um caminho direto para a troca de dados entre GPUs e a interconexão de alta velocidade .
O GPUDirect RDMA proporciona melhorias significativas tanto na largura de banda quanto na latência de comunicação entre dispositivos GPU de diferentes nós do cluster.
Conclusão
O teste da NVIDIA revelou as seguintes características de desempenho do BlueField DPU:
- Testes com tamanhos de E/S menores de 512B resultaram em IOPS mais alto, mas taxa de transferência inferior à linha, enquanto tamanhos de E/S de 4 KB resultaram em taxa de transferência mais alta, mas números de IOPS mais baixos.
- As cargas de trabalho 100% de leitura e 100% de gravação forneceram IOPS e taxa de transferência semelhantes, enquanto cargas de trabalho mistas de leitura/gravação 50/50 produziram um desempenho mais alto usando ambas as direções da conexão de rede simultaneamente.
- O uso do SPDK resultou em maior desempenho do que o software de espaço do kernel, mas ao custo de maior utilização da CPU do servidor, que é um comportamento esperado, pois o SPDK é executado no espaço do usuário com pesquisa constante.
- O kernel Linux 5.15 mais recente teve um desempenho melhor do que o kernel 4.18 devido a melhorias de armazenamento adicionadas regularmente pela comunidade Linux.
De modo geral, os resultados do teste interno são bastante impressionantes. O BlueField-2 atingiu 41.5 milhões de IOPS, o que é mais de quatro vezes superior a qualquer outra DPU disponível no mercado atualmente.
Os resultados de rede padrão também foram impressionantes. A DPU registrou mais de cinco milhões de IOPS de 4 KB e de sete milhões a mais de 20 milhões de IOPS de 512 KB para NVMe-oF . Se você busca melhorar o desempenho geral do data center, esta DPU é a solução ideal.
Amazon