Normalmente esperamos até o final do artigo para pintar todo o quadro e concluir a revisão. No entanto, o Dell PowerEdge XE9680 apresenta uma peça de hardware tão interessante que mal podíamos esperar para compartilhar nossa empolgação com esta análise positiva. O design da Dell é centrado nas necessidades de IA, fornecendo uma quantidade imensa de poder computacional em um fator de forma de 6U. Graças à parceria da Dell com a Intel e a NVIDIA no XE9680, eles criaram uma oferta que não é apenas poderosa, mas altamente eficiente.
Normalmente esperamos até o final do artigo para pintar todo o quadro e concluir a revisão. No entanto, o Dell PowerEdge XE9680 apresenta uma peça de hardware tão interessante que mal podíamos esperar para compartilhar nossa empolgação com esta análise positiva. O design da Dell é centrado nas necessidades de IA, fornecendo uma quantidade imensa de poder computacional em um fator de forma de 6U. Graças à parceria da Dell com a Intel e a NVIDIA no XE9680, eles criaram uma oferta que não é apenas poderosa, mas altamente eficiente.
DellPowerEdge XE9680
Suas especificações são nada menos que impressionantes; dois processadores Intel Xeon Scalable de 4ª geração, 56 núcleos cada e 2 TB de RAM DDR5 fornecem o backbone da CPU para os aceleradores de IA. Em seguida, adicionando as oito GPUs NVIDIA HGX H100 ou A100, conectadas no SXM e juntas por meio do NVLink, o servidor está equipado para lidar com os maiores modelos e cargas de trabalho de dados.
A capacidade do PowerEdge XE9680 para grandes volumes de RAM (até 4 TB) oferece uma vantagem competitiva significativa no manuseio de cargas de trabalho de IA. Esses grandes volumes de memória permitem o treinamento de modelos mais complexos, levando a um desempenho mais alto e a resultados mais precisos.
Nossas configurações incluem 8 baias SSD U.2 NVMe na frente. Mas assim como vimos com o R660, a Dell também pretende oferecer um painel traseiro E3.S, com 16 SSDs E3.S. O servidor também oferece suporte à unidade de inicialização NVMe BOSS-N1 na parte traseira do servidor.
É mais do que apenas poder
O PowerEdge XE9680 não se trata apenas de potência; ele também prioriza a segurança e a capacidade de gerenciamento. Com recursos como firmware assinado criptograficamente, criptografia de dados em repouso e inicialização segura, o servidor garante que seus dados estejam sempre protegidos. O sistema iDRAC9 incorporado fornece uma interface de gerenciamento fácil de usar, oferecendo uma variedade de ferramentas e integrações que tornam o gerenciamento do servidor simples e sem complicações.
Colocamos este sistema à prova quando queríamos mudar a instalação do sistema operacional (mais sobre isso mais tarde) no servidor, e era mais simples usar a função Cryptographic Erase do iDRAC com apenas alguns cliques para começar com um sistema limpo trabalhar com.
nvidia-smi no XE9680 com placas H100
Anteriormente, vimos o whitepaper da Dell no XE9680 e o desempenho do servidor Dell PowerEdge XE9680 quando avaliado em relação aos benchmarks de latência de geração de imagem definidos pela Lambda. O servidor forneceu aproximadamente o dobro da taxa de transferência, o que é uma prova da potência e eficiência do PowerEdge XE9680.
As pontuações do MLPerf são amplamente conhecidos e aceitos como um bom posicionamento de classificação de desempenho de sistemas nesta classe, portanto, para aproveitar nosso tempo prático com os servidores XE9680 A100 e H100, decidimos fazer uma comparação direta de ajustando o LLaMa da Meta com os dois sistemas. Para fazer isso, seguimos as etapas de treinamento do Alpaca de Stanford, que eles realizaram usando sistemas 4x A100.
Alpaca treinando no XE9680
Queremos agradecer às equipes da NVIDIA e da Dell por sua assistência neste projeto. Esta é uma tecnologia tão avançada do ponto de vista de hardware e software que, sem a orientação de especialistas do setor de ambas as empresas, teria sido um processo muito mais demorado e intensivo.
No sistema A100, usando o processo descrito no Stanford Alpaca Git Hub, podemos reproduzir as etapas para criar os pontos de verificação Alpaca completando as três épocas de treinamento, com uma média de aproximadamente 90 minutos.
Mudando para o sistema H100, vimos uma melhoria com execuções concluídas em cerca de 70 minutos por execução. Devido à alta demanda e à natureza limitada desses sistemas, não tivemos a oportunidade de ajustar o próprio código para explorar possíveis melhorias de desempenho, e ficou claro que com refinamento e tempo dedicado ao desenvolvimento, uma equipe corporativa poderia alcançar uma rápida virada tempo com ajuste fino.
Oficialmente não oficial
No XE100 com sabor A9680, tivemos a oportunidade de fazer alguns testes fora da caixa e altamente heterodoxos. Instalamos o Windows Server 2022 no sistema! Isso envolveu alguns apagamentos de unidade iDRAC para remover a instalação do Linux, alguns truques com arquivos iDRAC .iso e mídia virtual para carregar drivers de rede Intel e, a partir daí, foi para as corridas. Usando as unidades de chipset de um sistema Dell PowerEdge comparável e, em seguida, os drivers NVIDIA A100 oficiais.
O sistema funciona e é estável sem problemas. No entanto, este é um caso de uso altamente incomum para o qual a Dell não oferece suporte oficialmente. Então, armados com nossa nova instalação do Windows e oito das melhores GPUs do mercado, fizemos o que fazemos de melhor, referência Pi!
As oito placas NVIDIA A100 esmagaram facilmente os recordes mundiais GPU-Pi sem nenhum ajuste, e as CPUs Xeon Platinum apresentaram ótimos números tanto no y-cruncher quanto no Cinebench. Tentamos alguns de nossos outros benchmarks padrão de CPU/GPU com pouca esperança de que funcionassem e, como esperado, encontramos problemas de software/codificador que impediram execuções bem-sucedidas. A Procyon, por exemplo, nem entendeu que tinha GPUs Tensor disponíveis para fazer o teste.
Mais uma vez, precisamos reiterar que este foi simplesmente um teste de uma configuração não suportada, e o fato de termos feito qualquer coisa funcionar é impressionante e uma prova da capacidade da Dell de produzir hardware consistente em todas as plataformas. Usar o Windows Server nesse tipo de sistema em qualquer ambiente de produção seria imprudente.
| Test | Resultado |
| Cinebench Multi | 90,710 |
| Cinebench Único | 174 |
| Ração CB MP | 77.24 |
| GPU Geekbench 6 | 197,669 |
| Geekbench 6 Individual | 1,678 |
| Geekbench6 multi | 16,425 |
| Monstro: |
855.080461 amostras por minuto
|
| Loja de lixo: |
546.636998 amostras por minuto
|
| Sala de aula: |
394.441850 amostras por minuto
|
| GPU Pi 3.2 1 bilhão | 0.394 segundos |
| GPU Pi 3.3 1 bilhão | 0.317 segundos |
Vale a pena notar que esse desempenho impressionante não se traduz apenas em velocidade, mas também afeta a aplicação prática da IA. Com retreinamento mais rápido e capacidade de ajuste fino, as empresas podem melhorar significativamente sua agilidade, permitindo que respondam rapidamente às mudanças do mercado, às necessidades do cliente e aos requisitos internos. Por exemplo, as equipes de design podem avaliar e refinar conceitos em tempo real, reduzindo significativamente o tempo de lançamento no mercado, ou as equipes de conformidade podem treinar e ajustar continuamente modelos atualizados com as políticas e procedimentos mais recentes para um LLM do tipo assistente.
Transformando operações usando IA generativa
O Dell PowerEdge XE9680 pode facilitar a IA generativa na transformação de várias operações do setor. Imagine um cenário de varejo onde a IA pode gerar rapidamente imagens realistas de várias configurações de produtos ou opções de cores com base nas preferências do cliente ou uma empresa de construção criando visualizações de novos edifícios para planejamento e apresentações de vendas. As possibilidades são fascinantes.
O Dell PowerEdge XE9680 oferece uma combinação fantástica de potência, eficiência e versatilidade. É um servidor de alto desempenho que pode lidar com cargas de trabalho de IA exigentes com facilidade. E, embora tenha sido projetado especificamente para atender a cargas de trabalho de IA, seus recursos permitem que ele seja útil para outros aplicativos.
Juntamente com o compromisso da Dell em ajudar as organizações na execução de seus projetos de IA por meio de Projeto Helix, o PowerEdge XE9680 é uma proposta interessante e uma das melhores inovações de hardware que vimos durante todo o ano. Com sua capacidade de fornecer potência bruta, sutileza refinada e gerenciamento de ciclo de vida de nível empresarial, não é de admirar que o Dell PowerEdge XE9680 esteja rapidamente se tornando um dos favoritos entre os servidores corporativos.
Envolva-se com a StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
