Lors de l'événement VMware Explore 2023, VMware a dévoilé de nouvelles offres d'IA privée visant à promouvoir l'adoption de l'IA générative au sein des entreprises et à exploiter le potentiel des données fiables. Caractérisé par son approche architecturale, VMware Private AI équilibre les avantages de l’IA avec les exigences pratiques de confidentialité et de conformité des organisations.
VMware Private AI Foundation, en partenariat avec NVIDIA, permettra aux entreprises de personnaliser des modèles et d'exécuter des applications d'IA générative, notamment des chatbots intelligents, des assistants, des outils de recherche et de synthèse. Cette plateforme sera une solution entièrement intégrée, dotée de logiciels d'IA générative et de la puissance de calcul accélérée de NVIDIA , reposant sur VMware Cloud Foundation et optimisée pour l'IA.
S'appuyant sur leur partenariat stratégique, l'offre VMware Private AI Foundation avec NVIDIA fournit aux entreprises déployées sur l'infrastructure cloud de VMware les outils nécessaires pour répondre à l'intérêt croissant pour l'ère de l'IA générative. Cette extension intègre l'architecture d'IA privée de VMware avec le logiciel NVIDIA AI Enterprise et le calcul accéléré, fournissant une solution clé en main pour le déploiement d'applications d'IA générative dans les centres de données, les cloud publics et en périphérie.
Pour obtenir plus rapidement des avantages commerciaux, les entreprises cherchent à rationaliser le développement, les tests et le déploiement d’applications d’IA générative. VMware Private AI Foundation avec NVIDIA permettra aux entreprises d'exploiter cette capacité, en personnalisant de grands modèles de langage, en produisant des modèles plus sécurisés et privés pour leur usage interne et en offrant une IA générative en tant que service à leurs utilisateurs, exécutant en toute sécurité des charges de travail d'inférence à grande échelle.
La plate-forme devrait inclure des outils d'IA intégrés pour permettre aux entreprises d'exécuter de manière rentable des modèles éprouvés formés sur leurs données privées. Les clients obtiennent les résultats d’IA souhaités grâce à l’architecture de référence VMware Private AI pour l’Open Source, qui tire parti des technologies logicielles open source de premier plan et répond aux exigences actuelles et futures.
La plate-forme devrait être construite sur les logiciels VMware Cloud Foundation et NVIDIA AI Enterprise, avec de nombreux avantages. Du point de vue de la confidentialité, les clients peuvent exécuter des services d'IA à proximité de l'endroit où se trouvent les données grâce à une architecture qui préserve la confidentialité des données avec un accès sécurisé.
Les entreprises auront un large choix d'endroits où construire et exécuter leurs modèles, de NVIDIA NeMo à Llama 2. Cela inclut les configurations matérielles OEM et, à l'avenir, les offres de cloud public et de fournisseurs de services.
Les performances attendues doivent être égales ou supérieures au bare metal avec la plate-forme fonctionnant sur l'infrastructure accélérée NVIDIA. Les optimisations de mise à l'échelle du GPU dans les environnements virtualisés permettront aux charges de travail d'IA d'évoluer jusqu'à 16 vGOU/GPU dans une seule VM et plusieurs nœuds pour accélérer le réglage fin et les déploiements du modèle d'IA génératif.
Maximiser l’utilisation de toutes les ressources de calcul sur les GPU, DPU et CPU signifie que les coûts globaux devraient être inférieurs tout en créant un environnement de ressources mutualisées partagées entre les équipes. VMware vSAN Express Storage Architecture (ESA) offrira un stockage NVMe aux performances optimisées, prenant en charge le stockage GPUDirect sur RDMA, permettant un transfert direct d'E/S du stockage vers les GPU sans impliquer le CPU.
L'intégration approfondie entre vSphere et NVIDIA NVSwitch permettra aux modèles multi-GPU de s'exécuter sans goulots d'étranglement inter-GPU, offrant ainsi une mise en réseau accélérée.
Tous ces avantages n’auront que peu d’importance si le déploiement et la rentabilisation prennent trop de temps. Avec les images et le référentiel d'images de machine virtuelle vSphere Deep Learning, les capacités de prototypage rapide offrent une image de solution clé en main stable qui comprend des frameworks préinstallés et des bibliothèques optimisées en termes de performances.
NVIDIA NeMo, un framework cloud natif de bout en bout et le système d'exploitation de la plateforme NVIDIA AI incluse dans NVIDIA AI Enterprise, est une fonctionnalité de la plateforme. NeMo permet aux entreprises de créer, personnaliser et déployer des modèles d'IA générative pratiquement n'importe où, en combinant des cadres de personnalisation, des boîtes à outils de garde-fou, des outils de conservation de données et des modèles pré-entraînés pour offrir aux entreprises une voie simple, rentable et efficace vers l'adoption de l'IA générative.
En déployant l'IA générative en production, NeMo utilise TensorRT pour les grands modèles linguistiques (TRT-LLM), accélérant et optimisant les performances d'inférence sur les derniers LLM sur les GPU NVIDIA. Avec NeMo, VMware Private AI Foundation avec NVIDIA permet aux entreprises d'extraire leurs données pour créer et exécuter des modèles d'IA génératifs personnalisés sur l'infrastructure cloud hybride de VMware.
VMware Private AI Foundation étend les capacités et les modèles d'IA là où les données de l'entreprise sont générées, traitées et consommées, que ce soit dans un cloud public, un centre de données d'entreprise ou en périphérie. En introduisant ces nouvelles offres, VMware vise à permettre aux clients de fusionner flexibilité et contrôle, propulsant ainsi une nouvelle génération d'applications basées sur l'IA. Les applications ont le potentiel d’améliorer considérablement la productivité des travailleurs, de déclencher une transformation dans les fonctions clés de l’entreprise et de générer un impact économique substantiel : un rapport McKinsey prévoit que l’IA générative contribuera jusqu’à 4.4 XNUMX milliards de dollars par an à l’économie mondiale.
La mise en place d'un environnement multi-cloud est essentielle au succès de cette évolution, car elle ouvre la voie à une utilisation de données privées mais largement distribuées. La stratégie multi-cloud de VMware offre aux entreprises une plus grande flexibilité dans la création, la personnalisation et le déploiement de modèles d'IA utilisant des données privées tout en garantissant la sécurité et la résilience dans des environnements variés.
Raghu Raghuram, PDG de VMware, souligne que la viabilité de l'IA générative dépend du maintien de la confidentialité des données et de la minimisation des risques IP. VMware Private AI répond à ces préoccupations, permettant aux organisations d'exploiter leurs données fiables pour créer et exécuter efficacement des modèles d'IA dans un environnement multi-cloud.
Amazon