Cloudera et VAST Data ont conclu un partenariat pour créer une architecture unifiée de production d'IA destinée aux entreprises exécutant des charges de travail continues d'entraînement, d'inférence et d'analyse d'IA. Cette offre conjointe combine les services de données conteneurisés de Cloudera avec le système d'exploitation d'IA de VAST, ciblant un problème de plus en plus fréquent dans les déploiements d'IA en entreprise : l'inactivité des coûteux clusters GPU en attente de données.
Ce problème de GPU inactif, souvent appelé « saturation du GPU », survient généralement lorsque les entreprises intègrent des charges de travail d'IA à des architectures de données non conçues pour les exigences de débit élevé et continu des pipelines d'IA modernes. La préparation des données, l'entraînement, l'inférence et l'analyse sollicitent la même infrastructure, et lorsque la couche de données ne peut suivre le rythme, les accélérateurs sont saturés. Cloudera et VAST présentent leur solution combinée comme une réponse à ce goulot d'étranglement, en garantissant l'alimentation des GPU en données à faible latence tout au long du cycle de vie de l'IA.
Comment l'architecture est construite
Du côté de Cloudera, l'entreprise propose son architecture « lakehouse », qui regroupe les services d'ingénierie des données, de streaming, d'analyse, d'apprentissage automatique et d'IA dans des conteneurs portables exécutables dans des environnements hybrides et multicloud. Les clients bénéficient ainsi d'un modèle opérationnel cohérent, quel que soit l'emplacement d'exécution des charges de travail.
VAST fournit son architecture DASE (Disaggregated Shared Everything) comme infrastructure de données sous-jacente, capable de gérer des volumes de données de l'ordre de l'exaoctet tout en intégrant des services de bases de données vectorielles avec NVIDIA cuVS pour l'indexation et la recherche vectorielles accélérées par GPU. Le système d'exploitation d'IA de VAST repose sur l'architecture de référence de la plateforme de données d'IA NVIDIA et est conçu pour transformer les données d'entreprise latentes en un format compatible avec l'IA, directement utilisable par les pipelines d'entraînement et d'inférence. Cloudera y ajoute ensuite ses services d'ingénierie des données, de gouvernance et d'IA.
Cette architecture intégrée est conçue pour couvrir l'intégralité du processus, de l'ingestion des données brutes au déploiement des modèles, avec des opérations cohérentes entre les datacenters, le cloud privé et le cloud public. Cloudera et VAST affirment que cette architecture élimine la saturation des GPU grâce à des pipelines de données à haut débit et faible latence, ce qui devrait améliorer l'utilisation soutenue des GPU et l'efficacité des calculs. La plateforme est également conçue pour gérer des ensembles de données structurés, non structurés et multimodaux à grande échelle, avec des contrôles de gouvernance et de conformité d'entreprise destinés aux déploiements d'IA privés et souverains.
Intégration et inférence NVIDIA
Ce partenariat repose en grande partie sur l'infrastructure NVIDIA. Outre l'architecture de référence de la plateforme de données IA qui sous-tend le système d'exploitation IA de VAST, les entreprises intègrent le logiciel NVIDIA AI Enterprise à leur architecture commune. Le service d'inférence IA de Cloudera utilise les microservices NVIDIA NIM pour permettre aux organisations de déployer et de faire évoluer des modèles directement sur leurs propres données, y compris les nouveaux modèles ouverts Nemotron de NVIDIA.
Côté ingénierie des données, les clients peuvent accélérer les charges de travail Apache Spark grâce à NVIDIA cuDF, qui s'intègre de manière transparente à Cloudera Data Engineering. Les tâches Spark peuvent ainsi exploiter les services de données à haut débit de VAST avec un traitement accéléré par GPU, ce qui s'avère particulièrement utile pour les étapes gourmandes en données des pipelines d'IA, et pas seulement pour l'entraînement et l'inférence.
Pour les industries réglementées en particulier, Cloudera et VAST présentent cela comme une solution « du silicium à l'application », couvrant tout, du matériel et des logiciels NVIDIA sous-jacents jusqu'aux applications d'IA de production, déployables sur site ou dans le cloud en fonction de la résidence des données et des exigences de conformité.
Disponibilité
Les entreprises affirment que ce partenariat combine 60 exaoctets de données gérées par les clients sur l'ensemble de leurs bases installées, offrant ainsi aux deux fournisseurs un vaste vivier de clients entreprises existants à cibler à mesure que la demande d'infrastructures d'IA privées augmente.
La solution conjointe Cloudera-VAST AI Factory est disponible dès maintenant auprès des équipes commerciales et des réseaux de partenaires des deux entreprises. Cloudera et VAST prévoient d'enrichir leur offre d'ici 2026 avec des architectures de référence supplémentaires, des modèles de déploiement validés et des solutions sectorielles.
Amazon