Durante el evento VMware Explore 2023, VMware anunció VMware Private AI y VMware Private AI Foundation en colaboración con NVIDIA. En NVIDIA GTC esta semana, VMware dio un paso más al anunciar la disponibilidad inicial de VMware Private AI Foundation con NVIDIA.
Durante el evento VMware Explore 2023, VMware anunció VMware Private AI y VMware Private AI Foundation en colaboración con NVIDIA. En NVIDIA GTC esta semana, VMware dio un paso más al anunciar la disponibilidad inicial de VMware Private AI Foundation con NVIDIA. Esta colaboración dio como resultado el desarrollo de una plataforma basada en VMware Cloud Foundation que incorpora los microservicios de inferencia de IA de NVIDIA. La plataforma también incluye contribuciones de empresas como Hugging Face.
VMware Private AI Foundation con NVIDIA está diseñado para avanzar en la implementación de flujos de trabajo de recuperación de generación aumentada (RAG), personalización del modelo LLM y cargas de trabajo de inferencia dentro de los centros de datos. Ofrece soluciones a problemas de privacidad, costos y cumplimiento a través de herramientas de automatización, imágenes de VM de aprendizaje profundo, una base de datos vectorial y capacidades de monitoreo de GPU. En particular, es esencial adquirir licencias independientes de NVIDIA AI Enterprise para obtener una funcionalidad completa.
Fundación privada de IA de VMware con ventajas de NVIDIA
Privacidad, seguridad y cumplimiento: la plataforma ofrece una arquitectura sofisticada que garantiza la privacidad de los datos, una seguridad estricta y un cumplimiento estricto. Está respaldado por la infraestructura de nube de VMware, que incluye características como arranque seguro y cifrado de VM.
Rendimiento mejorado: al aprovechar las innovaciones de Broadcom y NVIDIA, la plataforma está diseñada para maximizar el rendimiento de los modelos de IA generativa, presentando herramientas para la utilización eficiente de la GPU y una estructura de red sofisticada como NVIDIA NVLink y NVSwitch.
Simplificación de la implementación y optimización de costos: VMware Private AI Foundation con NVIDIA tiene como objetivo agilizar la implementación y reducir los costos asociados con los modelos generativos de IA, facilitados por un conjunto de gestión integral y mecanismos de intercambio de recursos.
Arquitectura
En esencia, VMware Cloud Foundation ofrece una solución integral de infraestructura en la nube, mientras que NVIDIA AI Enterprise proporciona una plataforma de software de IA expansiva y nativa de la nube. Juntos, permiten a las organizaciones implementar modelos de IA seguros y privados de manera efectiva.
VMware Private AI Foundation con NVIDIA permite implementaciones locales que brindan a las empresas los controles para abordar rápidamente muchos desafíos de cumplimiento normativo sin tener que someterse a una reestructuración significativa de su entorno existente.
Configurar manualmente una máquina virtual de aprendizaje profundo puede ser un proceso complejo y que requiere mucho tiempo. Este enfoque manual puede generar inconsistencias entre diferentes entornos de desarrollo, lo que afecta la optimización. Para ayudar a los clientes, VMware Private AI Foundation con NVIDIA ofrece máquinas virtuales de aprendizaje profundo preconfiguradas con los marcos de software necesarios, como NVIDIA NGC, bibliotecas y controladores. Esto evita a los usuarios la molestia de configurar cada componente individualmente.
VMware ha habilitado bases de datos vectoriales aprovechando pgvector en PostgreSQL. Esta capacidad se gestiona a través de la automatización de la infraestructura nativa y la gestión de servicios de datos en VMware Cloud Foundation. Data Services Manager simplifica la implementación y gestión de bases de datos comerciales y de código abierto desde un único panel. Las bases de datos vectoriales son esenciales para que los flujos de trabajo de RAG permitan consultas rápidas de datos y mejoras de resultados de LLM en tiempo real sin necesidad de volver a capacitarse.
VMware Cloud Foundation ha introducido un asistente de configuración de catálogo dentro del portal de autoservicio para optimizar el aprovisionamiento de infraestructura para proyectos de IA. Esto reduce las cargas de trabajo manuales y acelera el acceso a la infraestructura de IA/ML.
VMware Private Foundation y NVIDIA presentan capacidades de monitoreo de GPU en VMware Cloud Foundation. Estas capacidades brindan vistas de la utilización de recursos de GPU en clústeres y hosts junto con la memoria del host existente y las consolas de capacidad, información sobre las métricas de rendimiento de la GPU y ayuda en la optimización y gestión de costos.
Capacidades empresariales de IA de NVIDIA
Las capacidades de NVIDIA AI Enterprise incluyen:
- NVIDIA NIM: un conjunto de microservicios que acelera la implementación de Gen AI en una amplia gama de modelos de IA, utilizando el software fundamental de NVIDIA para una inferencia eficiente.
- NVIDIA NeMo Retriever: este componente de la plataforma NVIDIA NeMo ofrece microservicios para conectar modelos personalizados a datos comerciales, lo que garantiza respuestas de alta precisión con una privacidad de datos óptima.
- Operador NVIDIA RAG LLM: agilización de la implementación de aplicaciones RAG en entornos de producción mediante la utilización de ejemplos de flujo de trabajo de IA de NVIDIA.
- Operador de GPU NVIDIA: automatiza la gestión del software necesario para utilizar GPU dentro de Kubernetes, mejorando el rendimiento y la eficiencia de la gestión.
- Compatibilidad con OEM de servidores: la plataforma está respaldada por importantes OEM de servidores, como Dell, HPE y Lenovo, lo que garantiza una amplia compatibilidad y soporte.
VMware Private AI Foundation con NVIDIA es una potente solución diseñada para permitir a las empresas implementar y gestionar modelos de IA. Abarca un ecosistema que aborda la seguridad, el rendimiento y la sostenibilidad de los proyectos de IA. Al utilizar máquinas virtuales de aprendizaje profundo, bases de datos vectoriales y un conjunto de herramientas NVIDIA, la plataforma agiliza la implementación y la gestión de modelos de IA al mismo tiempo que cumple con los requisitos empresariales de cumplimiento y rendimiento. Los principales fabricantes de equipos originales de servidores respaldan la plataforma, lo que garantiza un enfoque holístico y cooperativo de la IA.
Interactuar con StorageReview
Boletín | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
