Během akce VMware Explore 2023 společnost VMware oznámila založení VMware Private AI a VMware Private AI Foundation ve spolupráci s NVIDIA. Na konferenci NVIDIA GTC tento týden společnost VMware přiblížila projekt o krok blíž oznámením počáteční dostupnosti VMware Private AI Foundation s NVIDIA. Tato spolupráce vyústila ve vývoj platformy postavené na platformě VMware Cloud Foundation, která zahrnuje inferenční mikroslužby AI od společnosti NVIDIA. Platforma zahrnuje také příspěvky od společností, jako je Hugging Face.
VMware Private AI Foundation s NVIDIA je navržen tak, aby urychlil implementaci pracovních postupů Retrieval Augmented Generation (RAG), přizpůsobení modelů LLM a inferenčních úloh v datových centrech. Nabízí řešení problémů s ochranou soukromí, náklady a dodržováním předpisů prostřednictvím automatizačních nástrojů, hlubokého učení obrazů virtuálních strojů, vektorové databáze a možností monitorování GPU. Zejména je nezbytné získat samostatné licencí NVIDIA AI Enterprise pro plnou funkčnost.
VMware Private AI Foundation s výhodami NVIDIA
Soukromí, zabezpečení a dodržování předpisů: Platforma nabízí sofistikovanou architekturu, která zajišťuje soukromí dat, přísné zabezpečení a přísné dodržování předpisů. Je založena na cloudové infrastruktuře VMware, která zahrnuje funkce jako Secure Boot a šifrování virtuálních strojů.
Vylepšený výkon: Díky využití inovací společností Broadcom a NVIDIA je platforma navržena tak, aby maximalizovala výkon generativních modelů umělé inteligence, a nabízí nástroje pro efektivní využití GPU a sofistikovanou síťovou strukturu, jako jsou NVIDIA NVLink a NVSwitch.
Zjednodušení nasazení a optimalizace nákladů: VMware Private AI Foundation ve spolupráci s NVIDIA si klade za cíl zefektivnit nasazení a snížit náklady spojené s generativními modely umělé inteligence, a to díky komplexní sadě nástrojů pro správu a mechanismům sdílení zdrojů.
Architektura
VMware Cloud Foundation ve své podstatě nabízí komplexní řešení cloudové infrastruktury, zatímco NVIDIA AI Enterprise poskytuje rozsáhlou cloudově nativní platformu pro softwarovou AI. Společně umožňují organizacím efektivně nasazovat bezpečné a soukromé modely AI.
VMware Private AI Foundation s NVIDIA umožňuje lokální nasazení, která podnikům poskytují kontroly pro rychlé řešení mnoha problémů s dodržováním předpisů, aniž by musely podstoupit významnou rearchitekturu svého stávajícího prostředí.
Ruční nastavení virtuálního stroje s hlubokým učením může být časově náročný a složitý proces. Tento manuální přístup může vést k nekonzistencím v různých vývojových prostředích, což ovlivňuje optimalizaci. Aby pomohla zákazníkům, nabízí VMware Private AI Foundation ve spolupráci s NVIDIA předkonfigurované virtuální stroje s hlubokým učením s potřebnými softwarovými frameworky, jako je NVIDIA NGC, knihovny a ovladače. To uživatelům ušetří starosti s nastavováním každé komponenty zvlášť.
Společnost VMware umožnila vývoj vektorových databází využitím pgvector na platformě PostgreSQL. Tato funkce je spravována prostřednictvím nativní automatizace infrastruktury a správy datových služeb ve VMware Cloud Foundation. Data Services Manager zjednodušuje nasazení a správu open-source a komerčních databází z jednoho nástroje. Vektorové databáze jsou nezbytné pro pracovní postupy RAG, které umožňují rychlé dotazování dat a vylepšení výstupu LLM v reálném čase bez nutnosti přeškolování.
Společnost VMware Cloud Foundation zavedla v rámci samoobslužného portálu Průvodce nastavením katalogu, který zjednodušuje zřizování infrastruktury pro projekty umělé inteligence. To snižuje manuální zátěž a urychluje přístup k infrastruktuře umělé inteligence/strojového učení.
Společnosti VMware Private Foundation a NVIDIA zavádějí v platformě VMware Cloud Foundation funkce monitorování GPU. Tyto funkce poskytují přehledy o využití zdrojů GPU napříč clustery a hostiteli spolu se stávajícími konzolemi paměti a kapacity hostitele, vhled do metrik výkonu GPU a pomáhají s optimalizací a řízením nákladů.
Podnikové možnosti NVIDIA AI
Mezi funkce NVIDIA AI Enterprise patří:
- NVIDIA NIM: Sada mikroslužeb, která urychluje nasazení umělé inteligence generace Gen AI napříč širokou škálou modelů umělé inteligence a využívá základní software NVIDIA pro efektivní inferenci.
- NVIDIA NeMo Retriever: Tato komponenta platformy NVIDIA NeMo nabízí mikroslužby pro propojení vlastních modelů s obchodními daty a zajišťuje tak vysoce přesné odpovědi s optimálním soukromím dat.
- Operátor NVIDIA RAG LLM: Zefektivnění nasazení aplikací RAG do produkčních prostředí s využitím příkladů pracovních postupů umělé inteligence od NVIDIA.
- Operátor grafických karet NVIDIA: Automatizuje správu softwaru potřebného pro využití grafických karet v rámci Kubernetes, čímž zvyšuje výkon a efektivitu správy.
- Podpora OEM serverů: Platforma je podporována významnými výrobci OEM serverů, jako jsou Dell, HPE a Lenovo, což zajišťuje širokou kompatibilitu a podporu.
VMware Private AI Foundation s NVIDIA je výkonné řešení navržené tak, aby podnikům umožnilo nasazovat a spravovat modely umělé inteligence. Zahrnuje ekosystém, který se zabývá bezpečností, výkonem a udržitelností projektů umělé inteligence. Díky využití virtuálních strojů s hlubokým učením, vektorových databází a sady nástrojů NVIDIA platforma zefektivňuje nasazení a správu modelů umělé inteligence a zároveň splňuje podnikové požadavky na dodržování předpisů a výkon. Přední výrobci OEM serverů tuto platformu podporují a zajišťují tak holistický a kooperativní přístup k umělé inteligenci.
Amazon