StorageReview.com

Meta s'associe à NVIDIA sur un supercalculateur de recherche sur l'IA

Cloud  ◇  Entreprise

Meta Platforms a sélectionné le système NVIDIA DGX A100 pour le AI Research SuperCluster (RSC). Une fois entièrement déployé, le RSC de Meta devrait être le plus grand système NVIDIA DGX A100. Le AI Research SuperCluster (RSC) forme déjà de nouveaux modèles pour faire progresser l'IA.

SuperCluster de méta-recherche

Meta Research SuperCluster

Le SuperCluster de recherche en IA de Meta comprend des centaines de systèmes NVIDIA DGX reliés sur un réseau NVIDIA Quantum InfiniBand pour accélérer le travail de ses équipes de recherche en IA.

RSC devrait être entièrement construit plus tard cette année et Meta l'utilisera pour former des modèles d'IA avec plus d'un billion de paramètres. RSC fera des progrès dans des domaines tels que le traitement du langage naturel pour des tâches telles que l'identification de contenu préjudiciable en temps réel. En plus des performances à grande échelle, Meta a cité la fiabilité, la sécurité, la confidentialité et la flexibilité extrêmes pour gérer "un large éventail de modèles d'IA" comme critères clés pour RSC.

Les supercalculateurs dédiés à l'IA sont construits en combinant plusieurs GPU en nœuds de calcul, lesquels sont ensuite interconnectés par un réseau haute performance permettant une communication rapide entre ces GPU. Le RSC comprend aujourd'hui 760 systèmes NVIDIA DGX A100 comme nœuds de calcul, soit un total de 6 080 GPU ; chaque GPU A100 étant plus puissant que le V100 utilisé dans le système précédent.

mise en réseau du méta-recherche SuperCluster

Les GPU communiquent via une infrastructure InfiniBand NVIDIA Quantum 200 Gb/s à deux niveaux Clos sans sursouscription. L'infrastructure de stockage de RSC comprend 175 pétaoctets de Pure Storage FlashArray, 46 pétaoctets de stockage cache sur des systèmes Penguin Computing Altus et 10 pétaoctets de Pure Storage FlashBlade.

meta Research SuperCluster stockage pur 1 meta Research SuperCluster stockage pur 2

Les premiers benchmarks sur RSC, par rapport à l'infrastructure de production et de recherche héritée de Meta, ont montré qu'il exécute des flux de travail de vision par ordinateur jusqu'à 20 fois plus rapidement, exécute la bibliothèque de communication collective NVIDIA (NCCL) plus de neuf fois plus rapidement et forme des modèles NLP à grande échelle. trois fois plus rapide. Cela signifie qu'un modèle avec des dizaines de milliards de paramètres peut terminer l'entraînement en trois semaines, contre neuf semaines auparavant.

Une fois le RSC terminé, la structure de réseau InfiniBand connectera 16,000 16 GPU en tant que points de terminaison, ce qui en fera l'un des plus grands réseaux de ce type déployés à ce jour. De plus, le système de mise en cache et de stockage conçu peut servir 1 To/s de données de formation et les faire évoluer jusqu'à XNUMX exaoctet.

Vue des racks Meta Research SuperCluster

Bien que RSC soit opérationnel aujourd'hui, son développement se poursuit. Une fois la phase deux de la construction du RSC terminée, il devrait être le supercalculateur d'IA le plus rapide au monde, avec près de 5 exaflops de calcul à précision mixte.

Les travaux se poursuivront jusqu'en 2022 pour augmenter le nombre de GPU de 6,080 16,000 à 2.5 16,000, augmentant ainsi les performances d'entraînement de l'IA de plus de 16 fois. La structure InfiniBand s'étendra pour prendre en charge XNUMX XNUMX ports dans une topologie à deux couches sans surabonnement. Le système de stockage aura une bande passante de livraison cible de XNUMX To/s et une capacité à l'échelle de l'exaoctet pour répondre à la demande accrue.

S'engager avec StorageReview

Newsletter | YouTube | Podcast iTunes / Spotify | Instagram | Twitter | TikTok | Flux RSS

Harold Fritt

Je suis dans l'industrie de la technologie depuis qu'IBM a créé Selectric. Ma formation, cependant, est l'écriture. J'ai donc décidé de sortir de l'avant-vente et de revenir à mes racines, en écrivant un peu mais en restant impliqué dans la technologie.