Meta a présenté le développement rapide de son programme Meta Training and Inference Accelerator (MTIA). L'entreprise a décrit quatre générations de puces créées en deux ans environ. Ces puces résolvent un problème d'infrastructure majeur que Meta considère essentiel pour l'IA à l'échelle mondiale : s'adapter rapidement et à moindre coût à l'évolution des architectures de modèles, sans dépendre de longs cycles de développement de semi-conducteurs. MTIA s'inscrit dans une stratégie plus large concernant les semi-conducteurs, et Meta a réaffirmé sa collaboration avec Broadcom pour le développement de ces puces.
Selon Meta, des centaines de milliers de dispositifs MTIA sont déjà déployés en production et plusieurs modèles internes y ont été intégrés. Les travaux de validation incluent des tests sur des modèles de langage complexes tels que Llama. L'entreprise avait précédemment publié des détails techniques sur les deux premières générations de MTIA, MTIA 100 et MTIA 200, dans des articles de recherche présentés à l'ISCA. Elle étend actuellement sa plateforme avec les MTIA 300, 400, 450 et 500. Ces nouveaux composants étendent la couverture de l'inférence pour le classement et la recommandation (R&R) à l'entraînement R&R et, de plus en plus, aux charges de travail générales d'IA générale, notamment l'inférence. Des déploiements sont en cours ou prévus pour 2026 et 2027.
L'itération comme principe de conception
Un thème central est la cadence. Meta affirme que l'évolution des modèles est plus rapide que le développement traditionnel de puces, qui peut prendre jusqu'à deux ans entre la conception et la production. Meta conçoit des puces MTIA sur l'architecture RISC-V open source, la fabrication étant assurée par Taiwan Semiconductor Manufacturing Corporation (TSMC). La réponse réside dans une approche de conception itérative et modulaire. Chaque génération s'appuie sur des chiplets réutilisables et est optimisée grâce aux dernières connaissances sur les opérateurs et les services. L'entreprise a également souligné l'importance de la réutilisation au-delà de la puce elle-même. Les MTIA 400, 450 et 500 partagent le même châssis, le même rack et la même infrastructure réseau. Cela permet des mises à niveau rapides, réduisant ainsi le délai entre la disponibilité du silicium et le déploiement dans les centres de données.
MTIA 300 : Réseaux et collectifs intégrés au silicium
MTIA 300 constitue la base de la nouvelle feuille de route. Initialement optimisé pour l'entraînement R&R, principale charge de travail de Meta avant l'avènement de l'IA générale, son architecture intègre des chiplets réseau, des moteurs de messagerie dédiés pour une communication collective efficace et un calcul proche de la mémoire afin d'alléger la charge des opérations collectives. Bien que principalement axés sur le R&R, ces composants de communication contribuent également à l'efficacité de l'entraînement et de l'inférence en IA générale dans les versions ultérieures.
Au niveau des blocs, Meta décrit le MTIA 300 comme une architecture multi-chiplets comprenant un chiplet de calcul, deux chiplets réseau et plusieurs piles HBM. Le bloc de calcul est organisé sous forme de grille d'éléments de traitement (PE), avec des PE supplémentaires pour optimiser le rendement. Chaque PE inclut deux cœurs vectoriels RISC-V, un moteur de produit scalaire pour les opérations matricielles, une unité fonctionnelle spécialisée pour les activations et les opérations élément par élément, un moteur de réduction pour l'accumulation et la communication entre PE, et un moteur DMA pour le transfert de données local.
MTIA 400 : Un virage vers l’IA générale avec des promesses de débit compétitif
La MTIA 400, version améliorée de la MTIA 300, offre une meilleure prise en charge de l'IA générative tout en conservant les capacités de recherche et de reproductibilité. Meta décrit la MTIA 400 comme une mise à niveau majeure, avec une puissance de calcul FP8 FLOPS supérieure de 400 % et une bande passante HBM supérieure de 51 % à celle de la MTIA 300. Sur le plan architectural, la MTIA 400 combine deux chiplets de calcul pour accroître la densité de calcul et prend désormais en charge les formats basse précision MX8 et MX4 améliorés, que Meta considère comme essentiels pour une inférence efficace en IA générative.
La conception du système demeure un axe prioritaire. Meta a décrit un déploiement à l'échelle d'une baie où 72 équipements MTIA 400 sont connectés via un fond de panier commuté, formant un domaine unique et évolutif. Pour des déploiements flexibles, Meta a mentionné des baies à refroidissement liquide assisté par air (AALC) afin d'accélérer l'installation dans les centres de données existants. L'entreprise a également indiqué que la plateforme est compatible avec les solutions de refroidissement liquide.
MTIA 450 : L’optimisation de l’inférence en IA générale commence par la bande passante mémoire
MTIA 450 est une version améliorée de MTIA 400, axée sur l'inférence et motivée par la demande croissante d'inférence GenAI. Meta a identifié la bande passante HBM comme le principal facteur limitant les performances d'inférence et l'a doublée entre MTIA 400 et MTIA 450. L'entreprise a également annoncé une augmentation de 75 % des FLOPS MX4 pour améliorer les calculs de type « mix of experts », ainsi qu'une accélération matérielle pour réduire les goulots d'étranglement courants dans les opérations d'attention et de propagation directe, notamment en ce qui concerne le comportement de Softmax et FlashAttention.
Meta a mis en avant son travail sur les types de données comme un facteur déterminant. Le MTIA 450 surpasse les architectures FP8 et MX8, atteignant un débit MX4 six fois supérieur à celui des architectures FP16/BF16. La puce prend en charge les calculs mixtes à faible précision sans conversion logicielle. Elle intègre des innovations sur mesure pour les types de données, conçues pour préserver la qualité des modèles tout en augmentant les FLOPS avec un impact minimal sur la surface. Le déploiement à grande échelle du MTIA 450 est prévu pour début 2027.
MTIA 500 : Plus de bande passante, plus de capacité, décomposition plus poussée des chiplets
MTIA 500 continue de privilégier l'inférence grâce à des améliorations supplémentaires au niveau de la mémoire et du calcul. Meta a indiqué que MTIA 500 augmente la bande passante HBM de 50 % par rapport à MTIA 450, accroît la capacité HBM jusqu'à 80 % et augmente les FLOPS MX4 de 43 %. La conception des chiplets évolue avec une configuration 2×2 de chiplets de calcul plus petits, entourés de plusieurs piles HBM et de deux chiplets réseau. Elle intègre également un chiplet système sur puce (SoC) pour la connectivité PCIe au processeur hôte et les cartes réseau extensibles. Meta a mentionné une accélération matérielle supplémentaire et des modifications des types de données afin de résoudre les goulots d'étranglement de l'inférence.
Le déploiement massif du MTIA 500 est prévu pour 2027.
Adoption facile
Meta conçoit MTIA pour une adoption simplifiée, privilégiant les outils standards du secteur plutôt qu'un framework spécialisé. L'entreprise décrit MTIA comme une solution native PyTorch, fonctionnant parfaitement avec les processus de compilation PyTorch 2.x et prenant en charge l'exécution immédiate et l'exécution sur graphes. En mode graphe, les développeurs peuvent utiliser `torch.compile` et `torch.export` pour optimiser les graphes sans avoir à réécrire les modèles spécifiques à MTIA, ce qui permet un déploiement parallèle sur GPU et MTIA.
En coulisses, Meta a détaillé une pile de compilation MTIA basée sur Torch FX IR et TorchInductor. Les couches inférieures utilisent Triton, MLIR et LLVM, ainsi que des optimisations spécifiques à MTIA, notamment des améliorations de la fusion de noyaux et des extensions pour les parties critiques en termes de performances. L'autotuning est une fonctionnalité clé permettant de choisir parmi différentes stratégies de compilation.
Pour l'exécution distribuée, Meta a introduit sa bibliothèque de communications collectives Hoot (HCCL). Similaire aux piles collectives GPU, cette bibliothèque est optimisée pour les chiplets réseau et les moteurs de messagerie intégrés de MTIA. Elle utilise le calcul proche de la mémoire pour accélérer les opérations de réduction. Meta prend également en charge la fusion des ressources de calcul collectif afin de réduire la latence et dispose d'une pile de transport conçue pour gérer le chemin des données et réduire la charge de l'hôte.
Lors de son exécution, Meta a démontré la capacité d'un environnement d'exécution à gérer la mémoire, la planification et la coordination entre les modes « eager » et « graph ». Il a également introduit un pilote espace utilisateur basé sur Rust, abandonnant ainsi le pilote Linux traditionnel intégré au noyau. Le firmware est écrit en Rust « bare-metal », privilégiant la faible latence et la sécurité.
Pour le déploiement de GenAI, Meta a décrit son intégration vLLM via un système de plugins. Ce système remplace des opérateurs clés comme FlashAttention et LayerNorm fusionné par des noyaux spécifiques à MTIA. Il active également le mode graphique grâce à un backend torch.compile personnalisé. Par ailleurs, Meta a mentionné des outils pour la gestion des déploiements MTIA à grande échelle, notamment la surveillance, le profilage, le débogage et l'observabilité sur l'ensemble des hôtes et périphériques.
Et après
La feuille de route MTIA mise à jour de Meta met l'accent sur l'économie de l'inférence GenAI, soulignant l'importance de la bande passante HBM et des formats basse précision. Si Meta respecte son calendrier de déploiement, les MTIA 450 et 500 constitueront les premiers tests à grande échelle visant à déterminer si une stratégie d'accélération axée sur l'inférence, basée sur des itérations rapides de chiplets et un logiciel standardisé, peut conserver des avantages par rapport aux plateformes GPU classiques pour la fourniture de services GenAI.
Amazon