Podczas konferencji VMware Explore 2023 firma VMware zaprezentowała nowe rozwiązania Private AI, których celem jest promowanie wdrażania generatywnej AI w przedsiębiorstwach i wykorzystanie potencjału zaufanych danych. Charakteryzująca się podejściem architektonicznym, prywatna AI VMware równoważy korzyści płynące ze sztucznej inteligencji z praktycznymi wymogami organizacji w zakresie prywatności i zgodności z przepisami.
Platforma VMware Private AI Foundation z NVIDIA umożliwi przedsiębiorstwom dostosowywanie modeli i uruchamianie generatywnych aplikacji AI, w tym inteligentnych chatbotów, asystentów, funkcji wyszukiwania i podsumowań. Platforma będzie w pełni zintegrowanym rozwiązaniem, obejmującym generatywne oprogramowanie AI i akcelerowane obliczenia firmy NVIDIA , oparte na platformie VMware Cloud Foundation i zoptymalizowane pod kątem AI.
Bazując na strategicznym partnerstwie, VMware Private AI Foundation z NVIDIA oferuje przedsiębiorstwom wdrażającym infrastrukturę chmurową VMware narzędzia pozwalające sprostać rosnącemu zainteresowaniu erą generatywnej sztucznej inteligencji. To rozszerzenie integruje architekturę Private AI firmy VMware z oprogramowaniem NVIDIA AI Enterprise i akcelerowanymi obliczeniami, zapewniając kompleksowe rozwiązanie do wdrażania generatywnych aplikacji AI w centrach danych, chmurach publicznych i na brzegu sieci.
Aby szybciej osiągać korzyści biznesowe, przedsiębiorstwa dążą do usprawnienia rozwoju, testowania i wdrażania generatywnych aplikacji AI. Platforma VMware Private AI Foundation z NVIDIA umożliwi przedsiębiorstwom wykorzystanie tej możliwości, dostosowując duże modele językowe, tworząc bezpieczniejsze i bardziej prywatne modele do użytku wewnętrznego oraz oferując użytkownikom generatywną AI jako usługę, umożliwiając bezpieczne uruchamianie obciążeń wnioskowania na dużą skalę.
Platforma ma zawierać zintegrowane narzędzia AI, które umożliwią przedsiębiorstwom ekonomiczne uruchamianie sprawdzonych modeli trenowanych na ich prywatnych danych. Klienci uzyskują pożądane rezultaty w zakresie AI dzięki architekturze referencyjnej VMware Private AI dla oprogramowania Open Source, wykorzystującej najnowocześniejsze technologie oprogramowania open source, spełniając obecne i przyszłe wymagania.
Platforma ma zostać zbudowana w oparciu o VMware Cloud Foundation i oprogramowanie NVIDIA AI Enterprise, co przyniesie liczne korzyści. Z punktu widzenia prywatności klienci będą mogli uruchamiać usługi AI w pobliżu miejsca przechowywania danych, korzystając z architektury, która zapewnia prywatność danych i bezpieczny dostęp.
Przedsiębiorstwa będą miały szeroki wybór miejsc, w których będą budować i uruchamiać swoje modele, od NVIDIA NeMo po Llama 2. Obejmuje to konfiguracje sprzętowe OEM, a w przyszłości także oferty dostawców chmury publicznej i usług.
Oczekiwana wydajność powinna być równa lub wyższa od wydajności bazowej platformy działającej na infrastrukturze akcelerowanej przez NVIDIA. Optymalizacja skalowania GPU w środowiskach zwirtualizowanych umożliwi skalowanie obciążeń AI do 16 vGOU/GPU na jednej maszynie wirtualnej i wielu węzłach, co przyspieszy dostrajanie i wdrażanie generatywnego modelu AI.
Maksymalne wykorzystanie wszystkich zasobów obliczeniowych na procesorach GPU, DPU i CPU oznacza, że ogólne koszty powinny być niższe, a jednocześnie powstawać będzie środowisko zasobów wspólnych, współdzielone przez zespoły. Architektura pamięci masowej VMware vSAN Express (ESA) zapewni zoptymalizowaną pod kątem wydajności pamięć masową NVMe, obsługującą technologię GPUDirect przez protokół RDMA, umożliwiając bezpośredni transfer danych wejścia/wyjścia z pamięci masowej do procesorów GPU bez angażowania procesora CPU.
Głęboka integracja między vSphere i NVIDIA NVSwitch umożliwi modelom wieloprocesorowym działanie bez wąskich gardeł między procesorami GPU, zapewniając przyspieszoną pracę sieci.
Wszystkie te korzyści będą miały niewielkie znaczenie, jeśli wdrożenie i uzyskanie oczekiwanego zwrotu z inwestycji zajmie zbyt dużo czasu. Dzięki obrazom maszyn wirtualnych i repozytorium obrazów vSphere Deep Learning, funkcje szybkiego prototypowania oferują stabilny, gotowy do użycia obraz rozwiązania, który zawiera preinstalowane frameworki i biblioteki zoptymalizowane pod kątem wydajności.
NVIDIA NeMo, kompleksowa, natywna dla chmury platforma i system operacyjny dla platformy NVIDIA AI, zawarta w NVIDIA AI Enterprise, to funkcja platformy. NeMo umożliwia przedsiębiorstwom tworzenie, dostosowywanie i wdrażanie generatywnych modeli AI praktycznie w dowolnym miejscu, łącząc frameworki dostosowywania, zestawy narzędzi Guardrail, narzędzia do gromadzenia danych i wstępnie wytrenowane modele, aby zaoferować przedsiębiorstwom łatwą, ekonomiczną i efektywną ścieżkę do wdrożenia generatywnej AI.
Wdrażając generatywną sztuczną inteligencję w środowisku produkcyjnym, NeMo wykorzystuje technologię TensorRT for Large Language Models (TRT-LLM), przyspieszając i optymalizując wydajność wnioskowania na najnowszych modelach LLM na procesorach graficznych NVIDIA. Dzięki NeMo, platforma VMware Private AI Foundation z NVIDIA umożliwia przedsiębiorstwom pobieranie danych w celu tworzenia i uruchamiania niestandardowych generatywnych modeli AI w hybrydowej infrastrukturze chmurowej VMware.
Fundacja VMware Private AI rozszerza możliwości i modele sztucznej inteligencji (AI) na obszary, w których dane przedsiębiorstwa są generowane, przetwarzane i wykorzystywane, niezależnie od tego, czy dzieje się to w chmurze publicznej, korporacyjnym centrum danych, czy na brzegu sieci. Wprowadzając te nowe rozwiązania, VMware dąży do umożliwienia klientom połączenia elastyczności i kontroli, napędzając nową generację aplikacji opartych na sztucznej inteligencji (AI). Aplikacje te mają potencjał, aby znacząco zwiększyć produktywność pracowników, zainicjować transformację kluczowych funkcji biznesowych i wywrzeć znaczący wpływ na gospodarkę – raport McKinsey przewiduje, że generatywna sztuczna inteligencja będzie przynosić globalnej gospodarce nawet 4.4 biliona dolarów rocznie.
Kluczowe dla sukcesu tej ewolucji jest stworzenie środowiska wielochmurowego, ponieważ otwiera ono drogę do wykorzystania prywatnych, a jednocześnie szeroko rozproszonych danych. Strategia wielochmurowa firmy VMware zapewnia przedsiębiorstwom większą elastyczność w budowaniu, dostosowywaniu i wdrażaniu modeli sztucznej inteligencji z wykorzystaniem prywatnych danych, zapewniając jednocześnie bezpieczeństwo i odporność w zróżnicowanych środowiskach.
Raghu Raghuram, CEO VMware, podkreśla, że opłacalność generatywnej sztucznej inteligencji (AI) zależy od zachowania prywatności danych i minimalizacji ryzyka związanego z własnością intelektualną (IP). VMware Private AI rozwiązuje te problemy, umożliwiając organizacjom wykorzystanie zaufanych danych do efektywnego budowania i wdrażania modeli AI w środowisku wielochmurowym.
Amazon