A Meta continua a sua inovação em IA através de investimentos estratégicos em infraestrutura de hardware, crucial para o avanço das tecnologias de IA. A empresa revelou recentemente detalhes sobre duas iterações de seu cluster em escala de data center de 24,576 GPUs, que é fundamental para impulsionar modelos de IA de próxima geração, incluindo o desenvolvimento do Llama 3. Esta iniciativa é uma base da visão da Meta de gerar modelos abertos e construídos de forma responsável. inteligência artificial geral (AGI) acessível a todos.
Foto cortesia da META Engenharia
Em sua jornada contínua, a Meta aprimorou seu AI Research SuperCluster (RSC), divulgado inicialmente em 2022, com 16,000 GPUs NVIDIA A100. O RSC tem sido fundamental no avanço da pesquisa aberta em IA e na promoção da criação de modelos sofisticados de IA com aplicações que abrangem muitos domínios, incluindo visão computacional, processamento de linguagem natural (PNL), reconhecimento de fala e muito mais.
Com base nos sucessos do RSC, os novos clusters de IA da Meta melhoram o desenvolvimento de sistemas de IA de ponta a ponta, com ênfase na otimização da experiência do pesquisador e do desenvolvedor. Esses clusters integram 24,576 GPUs NVIDIA Tensor Core H100 e aproveitam malhas de rede de alto desempenho para suportar modelos mais complexos do que era possível anteriormente, estabelecendo um novo padrão para desenvolvimento e pesquisa de produtos GenAI.
A infraestrutura da Meta é altamente avançada e adaptável, lidando diariamente com centenas de trilhões de execuções de modelos de IA. O design personalizado de hardware e malhas de rede garante desempenho otimizado para pesquisadores de IA, ao mesmo tempo que mantém operações eficientes do data center.
Soluções de rede inovadoras foram implementadas, incluindo um cluster com acesso remoto direto à memória (RDMA) sobre Ethernet convergente (RoCE) e outro com estrutura NVIDIA Quantum2 InfiniBand, ambos capazes de interconexões de 400 Gbps. Essas tecnologias permitem insights de escalabilidade e desempenho cruciais para o projeto de futuros clusters de IA em grande escala.
Grand Teton apresentado durante OCP 2022
O Grand Teton da Meta, uma plataforma de hardware de GPU aberta projetada internamente, contribui para o Open Compute Project (OCP) e incorpora anos de desenvolvimento de sistemas de IA. Ele mescla interfaces de energia, controle, computação e malha em uma unidade coesa, facilitando a implantação e o dimensionamento rápidos em ambientes de data center.
Abordando o papel frequentemente subdiscutido, mas crítico, do armazenamento no treinamento de IA, a Meta implementou uma API personalizada do sistema de arquivos Linux no espaço do usuário (FUSE) suportada por uma versão otimizada da solução de armazenamento distribuído 'Tectonic'. Essa configuração, combinada com o sistema de arquivos de rede paralelo (NFS) Hammerspace co-desenvolvido, fornece uma solução de armazenamento escalonável e de alto rendimento, essencial para lidar com as vastas demandas de dados de trabalhos de treinamento de IA multimodal.
A plataforma de servidor YV3 Sierra Point da Meta, apoiada pelas soluções Tectonic e Hammerspace, ressalta a dedicação da empresa ao desempenho, eficiência e escalabilidade. Esta previsão garante que a infraestrutura de armazenamento possa atender às demandas atuais e ser dimensionada para acomodar as necessidades crescentes de futuras iniciativas de IA.
À medida que os sistemas de IA crescem em complexidade, a Meta continua a sua inovação de código aberto em hardware e software, contribuindo significativamente para OCP e PyTorch, promovendo assim o avanço colaborativo dentro da comunidade de investigação de IA.
Os projetos desses clusters de treinamento de IA são parte integrante do roteiro da Meta, com o objetivo de expandir sua infraestrutura com a ambição de integrar 350,000 GPUs NVIDIA H100 até o final de 2024. Essa trajetória destaca a abordagem proativa da Meta para o desenvolvimento de infraestrutura, preparada para atender às demandas dinâmicas de futuras pesquisas e aplicações de IA.
Amazon