Tijdens het VMware Explore-evenement van 2023 kondigde VMware in samenwerking met NVIDIA VMware Private AI en VMware Private AI Foundation aan. Tijdens NVIDIA GTC deze week ging VMware een stap dichterbij door de initiële beschikbaarheid van VMware Private AI Foundation bij NVIDIA aan te kondigen. Deze samenwerking resulteerde in de ontwikkeling van een platform gebouwd op VMware Cloud Foundation dat de AI-inferentiemicroservices van NVIDIA omvat. Het platform bevat ook bijdragen van bedrijven als Hugging Face.
VMware Private AI Foundation met NVIDIA is ontworpen om de implementatie van Retrieval Augmented Generation (RAG)-workflows, LLM-modelaanpassing en inferentie-workloads binnen datacenters te bevorderen. Het biedt oplossingen voor privacy-, kosten- en compliance-problemen via automatiseringstools, deep learning VM-images, een vectordatabase en GPU-monitoringmogelijkheden. Met name het aanschaffen van afzonderlijke NVIDIA AI Enterprise-licenties voor volledige functionaliteit is essentieel.
VMware Private AI Foundation met NVIDIA-voordelen
Privacy, beveiliging en compliance: het platform biedt een geavanceerde architectuur die gegevensprivacy, strenge beveiliging en strikte compliance garandeert. Het wordt ondersteund door de cloudinfrastructuur van VMware, die functies omvat zoals Secure Boot en VM-encryptie.
Verbeterde prestaties: Door de innovaties van Broadcom en NVIDIA te benutten, is het platform ontworpen om de prestaties voor generatieve AI-modellen te maximaliseren, met tools voor efficiënt GPU-gebruik en geavanceerde netwerkstructuren zoals NVIDIA NVLink en NVSwitch.
Vereenvoudiging van de implementatie en kostenoptimalisatie: De VMware Private AI Foundation met NVIDIA heeft tot doel de implementatie te stroomlijnen en de kosten te verlagen die gepaard gaan met generatieve AI-modellen, gefaciliteerd door een uitgebreide beheersuite en mechanismen voor het delen van bronnen.
Architectuur
In de kern biedt de VMware Cloud Foundation een uitgebreide cloudinfrastructuuroplossing, terwijl NVIDIA AI Enterprise een uitgebreid, cloud-native AI-softwareplatform biedt. Samen stellen ze organisaties in staat om veilige en private AI-modellen effectief in te zetten.
VMware Private AI Foundation met NVIDIA maakt on-premise implementaties mogelijk die bedrijven de controle bieden om snel veel uitdagingen op het gebied van naleving van de regelgeving aan te pakken zonder een significante herarchitectuur van hun bestaande omgeving te ondergaan.
Het handmatig opzetten van een deep-learning VM kan een tijdrovend en complex proces zijn. Deze handmatige aanpak kan leiden tot inconsistenties in verschillende ontwikkelomgevingen, waardoor de optimalisatie wordt beïnvloed. Om klanten te helpen biedt VMware Private AI Foundation met NVIDIA vooraf geconfigureerde deep learning VM's met de benodigde softwareframeworks zoals NVIDIA NGC, bibliotheken en stuurprogramma's. Dit bespaart gebruikers de moeite om elk onderdeel afzonderlijk in te stellen.
VMware heeft vectordatabases mogelijk gemaakt door pgvector op PostgreSQL te gebruiken. Deze mogelijkheid wordt beheerd via native infrastructuurautomatisering en dataservicebeheer in VMware Cloud Foundation. Data Services Manager vereenvoudigt de implementatie en het beheer van open-source en commerciële databases vanuit één enkel scherm. Vectordatabases zijn essentieel voor RAG-workflows om snelle dataquery's en real-time LLM-uitvoerverbeteringen mogelijk te maken zonder herscholing.
VMware Cloud Foundation heeft een Catalog Setup Wizard geïntroduceerd binnen het selfserviceportaal om de infrastructuurvoorziening voor AI-projecten te stroomlijnen. Dit vermindert de handmatige werklast en versnelt de toegang tot de AI/ML-infrastructuur.
VMware Private Foundation en NVIDIA introduceren GPU-monitoringmogelijkheden in VMware Cloud Foundation. Deze mogelijkheden bieden inzicht in het GPU-resourcegebruik in clusters en hosts naast de bestaande hostgeheugen- en capaciteitsconsoles, inzicht in GPU-prestatiestatistieken en helpen bij optimalisatie en kostenbeheer.
NVIDIA AI Enterprise-mogelijkheden
NVIDIA AI Enterprise-mogelijkheden omvatten:
- NVIDIA NIM: een reeks microservices die de implementatie van Gen AI in een breed scala aan AI-modellen versnelt, waarbij gebruik wordt gemaakt van fundamentele NVIDIA-software voor efficiënte gevolgtrekking.
- NVIDIA NeMo Retriever: Dit onderdeel van het NVIDIA NeMo-platform biedt microservices voor het verbinden van aangepaste modellen met bedrijfsgegevens, waardoor zeer nauwkeurige reacties met optimale gegevensprivacy worden gegarandeerd.
- NVIDIA RAG LLM Operator: Stroomlijning van de implementatie van RAG-applicaties in productieomgevingen door gebruik te maken van NVIDIA's AI-workflowvoorbeelden.
- NVIDIA GPU Operator: Automatiseert het beheer van software die nodig is voor het gebruik van GPU's binnen Kubernetes, waardoor de prestaties en de beheerefficiëntie worden verbeterd.
- Server OEM-ondersteuning: Het platform wordt ondersteund door belangrijke server-OEM's zoals Dell, HPE en Lenovo, waardoor een brede compatibiliteit en ondersteuning wordt gegarandeerd.
De VMware Private AI Foundation met NVIDIA is een krachtige oplossing die op maat is gemaakt om ondernemingen in staat te stellen AI-modellen te implementeren en te beheren. Het omvat een ecosysteem dat zich richt op de veiligheid, prestaties en duurzaamheid van AI-projecten. Door gebruik te maken van deep learning VM’s, vectordatabases en een reeks NVIDIA-tools stroomlijnt het platform de implementatie en het beheer van AI-modellen en voldoet het tegelijkertijd aan de bedrijfsvereisten op het gebied van compliance en prestaties. Toonaangevende server-OEM’s onderschrijven het platform en zorgen voor een holistische en coöperatieve benadering van AI.
Amazon