Lors de l'événement VMware Explore 2023, VMware a annoncé VMware Private AI et VMware Private AI Foundation en collaboration avec NVIDIA. Lors du NVIDIA GTC cette semaine, VMware a fait un pas de plus en annonçant la disponibilité initiale de VMware Private AI Foundation avec NVIDIA. Cette collaboration a abouti au développement d'une plateforme basée sur VMware Cloud Foundation qui intègre les microservices d'inférence d'IA de NVIDIA. La plateforme comprend également des contributions d'entreprises comme Hugging Face.
VMware Private AI Foundation avec NVIDIA est conçu pour faire progresser la mise en œuvre des workflows de génération augmentée de récupération (RAG), la personnalisation du modèle LLM et les charges de travail d'inférence au sein des centres de données. Il offre des solutions aux problèmes de confidentialité, de coût et de conformité grâce à des outils d'automatisation, des images de VM d'apprentissage en profondeur, une base de données vectorielle et des capacités de surveillance GPU. Il est notamment essentiel d’acquérir des licences NVIDIA AI Enterprise distinctes pour bénéficier de toutes les fonctionnalités.
VMware Private AI Foundation avec les avantages NVIDIA
Confidentialité, sécurité et conformité : la plateforme offre une architecture sophistiquée qui garantit la confidentialité des données, une sécurité stricte et une conformité stricte. Il s'appuie sur l'infrastructure cloud de VMware, qui comprend des fonctionnalités telles que le démarrage sécurisé et le chiffrement des machines virtuelles.
Performances améliorées : en exploitant les innovations de Broadcom et de NVIDIA, la plate-forme est conçue pour maximiser les performances des modèles d'IA génératifs, avec des outils pour une utilisation efficace du GPU et une structure réseau sophistiquée comme NVIDIA NVLink et NVSwitch.
Simplification du déploiement et optimisation des coûts : La VMware Private AI Foundation avec NVIDIA vise à rationaliser le déploiement et à réduire les coûts associés aux modèles d'IA génératifs, facilités par une suite de gestion complète et des mécanismes de partage des ressources.
Architecture
À la base, VMware Cloud Foundation offre une solution complète d'infrastructure cloud, tandis que NVIDIA AI Enterprise fournit une plate-forme logicielle d'IA cloud native et étendue. Ensemble, ils permettent aux organisations de déployer efficacement des modèles d’IA sécurisés et privés.
VMware Private AI Foundation avec NVIDIA permet des déploiements sur site qui fournissent aux entreprises les contrôles nécessaires pour relever rapidement de nombreux défis de conformité réglementaire sans subir une réarchitecture significative de leur environnement existant.
La configuration manuelle d’une VM de deep learning peut être un processus long et complexe. Cette approche manuelle peut entraîner des incohérences entre différents environnements de développement, affectant l'optimisation. Pour aider les clients, VMware Private AI Foundation avec NVIDIA propose des machines virtuelles d'apprentissage en profondeur préconfigurées avec les infrastructures logicielles nécessaires telles que NVIDIA NGC, les bibliothèques et les pilotes. Cela évite aux utilisateurs d'avoir à configurer chaque composant individuellement.
VMware a activé les bases de données vectorielles en tirant parti de pgvector sur PostgreSQL. Cette fonctionnalité est gérée via l'automatisation native de l'infrastructure et la gestion des services de données dans VMware Cloud Foundation. Data Services Manager simplifie le déploiement et la gestion des bases de données open source et commerciales à partir d'un seul panneau de verre. Les bases de données vectorielles sont essentielles aux flux de travail RAG pour permettre une interrogation rapide des données et des améliorations de sortie LLM en temps réel sans recyclage.
VMware Cloud Foundation a introduit un assistant de configuration de catalogue dans le portail libre-service pour rationaliser le provisionnement de l'infrastructure pour les projets d'IA. Cela réduit les charges de travail manuelles et accélère l’accès à l’infrastructure AI/ML.
VMware Private Foundation et NVIDIA introduisent des fonctionnalités de surveillance GPU dans VMware Cloud Foundation. Ces fonctionnalités fournissent des vues de l'utilisation des ressources GPU sur les clusters et les hôtes, ainsi que les consoles de mémoire et de capacité de l'hôte existantes, des informations sur les mesures de performances GPU et facilitent l'optimisation et la gestion des coûts.
Capacités NVIDIA AI Enterprise
Les fonctionnalités de NVIDIA AI Enterprise incluent :
- NVIDIA NIM : une suite de microservices qui accélère le déploiement de la génération IA sur un large éventail de modèles d'IA, en utilisant les logiciels NVIDIA fondamentaux pour une inférence efficace.
- NVIDIA NeMo Retriever : ce composant de la plate-forme NVIDIA NeMo offre des microservices pour connecter des modèles personnalisés aux données d'entreprise, garantissant des réponses de haute précision avec une confidentialité optimale des données.
- Opérateur NVIDIA RAG LLM : rationaliser le déploiement d'applications RAG dans des environnements de production en utilisant les exemples de flux de travail d'IA de NVIDIA.
- Opérateur GPU NVIDIA : automatise la gestion des logiciels requis pour l'utilisation des GPU dans Kubernetes, améliorant ainsi les performances et l'efficacité de la gestion.
- Prise en charge des OEM de serveurs : la plate-forme est soutenue par d'importants OEM de serveurs tels que Dell, HPE et Lenovo, garantissant une compatibilité et une assistance étendues.
VMware Private AI Foundation avec NVIDIA est une solution puissante conçue pour permettre aux entreprises de déployer et de gérer des modèles d'IA. Il englobe un écosystème qui répond à la sécurité, aux performances et à la durabilité des projets d’IA. En utilisant des machines virtuelles d'apprentissage profond, des bases de données vectorielles et un ensemble d'outils NVIDIA, la plateforme rationalise le déploiement et la gestion des modèles d'IA tout en répondant aux exigences de l'entreprise en matière de conformité et de performances. Les principaux constructeurs de serveurs approuvent la plateforme, garantissant ainsi une approche holistique et coopérative de l’IA.
Amazon