MinIO a lancé ExaPOD, une architecture de référence modulaire pour le développement et la gestion d'infrastructures d'IA exascale. Développée en collaboration avec Intel, Solidigm et Supermicro, ExaPOD s'appuie sur MinIO AIStor, le système de stockage de données exascale de MinIO destiné aux entreprises spécialisées en IA. Elle étend le concept DataPOD existant, passant d'unités de 100 pétaoctets à des blocs d'un exaoctet.
ExaPOD sert de modèle réutilisable aux entreprises et aux nouveaux fournisseurs de cloud. Il contribue à fournir des performances d'IA durables, prévisibles et rentables à très grande échelle sur l'infrastructure qu'ils contrôlent.
Résoudre le véritable goulot d'étranglement de l'IA
Avec la généralisation des agents d'IA, des modèles à contexte long et des pipelines multimodaux, les volumes de données passent du pétaoctet au multi-exaoctet. Dans de nombreux cas, la principale limitation n'est pas la disponibilité des GPU, mais plutôt la vitesse de transmission des données. Les GPU restent souvent inactifs, non pas par manque de puissance de calcul, mais parce que le stockage et le chemin d'accès aux données ne permettent pas un débit suffisant.
ExaPOD est spécifiquement conçu pour éliminer ce goulot d'étranglement. Il réduit et stabilise la latence à l'échelle exascale, garantissant ainsi un flux de données large et constant. MinIO vise à utiliser ExaPOD pour créer une couche de stockage et de données prenant en charge un accès à haut débit et à faible latence aux ensembles de données d'entraînement, d'inférence et de récupération. Ceci garantit que les charges de travail d'IA reçoivent des flux de données continus, sans avoir à attendre les E/S.
Outre ses performances, ExaPOD répond aux besoins pratiques de l'IA à grande échelle :
- Coût total de possession prévisible : La conception de référence utilise des composants largement répandus et conformes aux normes industrielles, ainsi qu'un stockage défini par logiciel, permettant une modélisation prévisible des coûts à mesure que la capacité augmente.
- Déploiement souverain sur site : ExaPOD est conçu pour fonctionner sur du matériel contrôlé par l'entreprise ou le fournisseur de néocloud. Cela permet de minimiser les coûts imprévus, d'éviter la dépendance à un fournisseur unique et de simplifier la conformité aux règles de résidence et de souveraineté des données.
En d'autres termes, ExaPOD ne se limite pas à la vitesse ; il rend l'infrastructure de données d'IA plus gérable, prévisible et durable à l'échelle de l'exaoctet.
L'architecture des données, et pas seulement les modèles, au cœur de l'IA
AB Periasamy, cofondateur et codirecteur général de MinIO, considère le développement de l'IA moderne comme un défi pour l'infrastructure des données, et non comme un simple problème de modélisation ou de matériel. Il est convaincu que les organisations qui réussiront dans le domaine de l'IA seront celles qui repenseront la manière dont les données sont stockées, transférées et consultées à grande échelle, tout en conservant une rentabilité comparable à celle des hyperscalers.
Dans cette optique, ExaPOD offre aux entreprises une solution claire et modulaire pour construire une infrastructure compatible avec l'IA, sans compromettre le contrôle, la flexibilité ni la transparence des coûts. Au lieu de solutions opaques et standardisées, ExaPOD propose un modèle de blocs identiques et reproductibles, évolutifs des racks aux datacenters complets, tout en préservant les performances et la fiabilité.
Matériel partenaire
Supermicro SYS-212H-TN 2U, 24 baies NVMe : Le SYS-212H-TN offre une solution compacte et équilibrée pour les déploiements à l'échelle du rack. Ses 24 baies U.2 NVMe optimisent la densité de stockage par rack sans compromettre la circulation de l'air, l'efficacité énergétique ni la facilité de maintenance. Il prend également en charge le refroidissement liquide et l'alimentation haute efficacité.
Intel Xeon 6781P (80 cœurs, 136 lignes PCIe Gen5) : Le processeur Xeon 6781P a été choisi pour sa capacité à gérer simultanément une forte densité de mémoire NVMe et une connectivité réseau 400/800 GbE. Grâce à ses 136 lignes PCIe Gen5, il prend en charge le parallélisme complet de 24 disques NVMe et de deux cartes réseau 400 GbE sans sursouscription.
SSD Solidigm D5-P5336 (QLC NVMe 122.88 To) : Avec 122.88 To stockage par disque, le Solidigme D5-P5336 offre une densité de stockage extrême, permettant à ExaPOD d'atteindre plusieurs exaoctets. une capacité utilisable dans l'encombrement de centre de données le plus réduit et le plus efficace du secteur.
L'un des aspects clés d'ExaPOD est son orientation vers la densité et l'efficacité énergétique, des facteurs cruciaux à l'échelle du multi-pétaoctet et de l'exaoctet.
ExaPOD fournit :
- 36 PiB de capacité utilisable par unité de rack dans une configuration tout-en-un compacte, réduisant considérablement l'espace au sol nécessaire à l'infrastructure de données d'IA. Cette densité est essentielle pour les installations où l'espace et la puissance sont limités.
- ExaPOD consomme en moyenne 900 W par PiB de capacité utilisable, refroidissement inclus. En réduisant la consommation énergétique de la couche de données, il libère de la capacité énergétique du centre de données pour les GPU et les accélérateurs.
À voir au SC25
MinIO présentera ExaPOD lors du salon SuperComputing '25 à Saint-Louis, du 16 au 21 novembre.
Amazon