Palantir i NVIDIA zbudowały suwerenny stos sztucznej inteligencji (AI) do obsługi łańcucha dostaw i uruchamiają go najpierw w ramach własnego łańcucha dostaw firmy NVIDIA, który musi zapewnić 1.3 miliona części dla każdej szafy Vera Rubin. Stos wprowadza otwarte modele NVIDIA Nemotron do Palantir Foundry i jej platformy sztucznej inteligencji (AIP), opartej na ontologii Palantir, w celu zapewnienia planistom wglądu w cały łańcuch, wczesnego wykrywania ograniczeń i kodyfikacji osądu operacyjnego, który do tej pory tkwił w ludzkich głowach. Wdrożenie firmy NVIDIA rozpoczyna się od alokacji materiałów – decyzje o tym, gdzie umieścić poszczególne części, określają, jak szybko szafa przemieszcza się od wafla do pierwszego tokena.
Łańcuch dostaw firmy NVIDIA jako pierwszy klient
System AI w skali rack wymaga zasobów obliczeniowych, pamięci, sieci, zasilania, chłodzenia i części mechanicznych, które muszą być dostarczane razem, od tysięcy dostawców i globalnej sieci produkcyjnej. NVIDIA twierdzi, że łańcuch dostaw w Vera Rubin jest dwukrotnie większy niż w Grace Blackwell. Nowy stos zapewnia zespołom ds. łańcucha dostaw w firmie NVIDIA to, co firmy nazywają wspólnym centrum dowodzenia, począwszy od decyzji o alokacji, dzięki czemu mogą one wcześniej identyfikować ograniczenia, szybciej oceniać alternatywy i alokować materiały w oparciu o wpływ na cały proces produkcji.
„Łańcuchy dostaw są systemem operacyjnym gospodarki fizycznej, a fabryki AI należą do najbardziej złożonych systemów, jakie kiedykolwiek zbudowano” – powiedział Jensen Huang, założyciel i dyrektor generalny firmy NVIDIA. „Od płytek krzemowych i komponentów, przez produkcję, systemy, po dostawy do klientów – setki firm i biliony dolarów globalnej aktywności gospodarczej łączą siły, aby dostarczać infrastrukturę AI”. Współzałożyciel i dyrektor generalny firmy Palantir, Alex Karp, ujął to bardziej dosadnie: „NVIDIA ma prawdopodobnie najcenniejszy, najbardziej złożony i zawiły łańcuch dostaw na świecie”. Obie firmy po raz pierwszy ogłosiły współpracę operacyjną w zakresie AI w GTC DC w październiku ubiegłego roku ; to właśnie ta współpraca doprowadziła do wdrożenia systemu.
Nemotron po szkoleniu, cuOpt i człowiek w pętli
Klienci Palantir po przeszkoleniu systemu Nemotron otwierają modele na własnych danych operacyjnych w środowiskach Foundry i AIP, wykorzystując biblioteki danych NVIDIA NeMo do ich przygotowania i rozszerzenia. W ramach AIP, NVIDIA cuOpt zajmuje się optymalizacją i planowaniem scenariuszy, dzięki czemu zespoły mogą modelować ograniczenia dostaw, rozważać kompromisy i oceniać wpływ decyzji o alokacji na działanie systemu przed jej podjęciem. Po przeszkoleniu model rekomenduje działania, wyjaśnia kompromisy i sygnalizuje pojawiające się zagrożenia, podczas gdy eksperci ds. łańcucha dostaw podejmują ostateczną decyzję. Palantir Autopilot, zintegrowany z bibliotekami NeMo AutoModel i NeMo RL, zamyka pętlę, przekazując każdą rekomendację, działanie planisty i wynik produkcji z powrotem do udoskonalenia modelu. W ten sposób, jak twierdzą firmy, wiedza operacyjna jest zachowywana, a nie tracona wraz z odejściem pracowników.
Opis techniczny wdrożenia firmy NVIDIA daje wyobrażenie o tym, jak lekki jest model. Modelem produkcyjnym jest Nemotron 3.5 Lightning, 30-miliardowy model z mieszanką ekspertów i około 3 miliardami parametrów aktywnych na przebieg, wybrany zamiast większego Nemotron 3 Ultra do obsługi przepływów pracy opartych na agentach. Do trenowania po treningu wykorzystano adaptery LoRA z zamrożonymi wagami bazowymi, a obliczenia ukończono na dwóch procesorach graficznych B200 w ciągu kilku minut. W wewnętrznym teście alokacji i decyzji firmy NVIDIA, wytrenowany model Lightning uzyskał 86.7% dokładności, o 31.2 punktu więcej niż niestrojony Nemotron 3 Ultra i o 69.2 punktu więcej niż jego własne wagi bazowe. Są to wyniki firmy NVIDIA oparte na danych firmy NVIDIA, ale potwierdzają one słuszność tego podejścia: mały, otwarty model z wytrenowanymi decyzjami organizacji przewyższa znacznie większy, ogólny model w odniesieniu do problemu tej organizacji.
Suwerenność z założenia
Ponieważ dane stanowią łańcuch dostaw firmy NVIDIA, wdrożenie odbywa się w oparciu o architektury referencyjne NVIDIA oraz wspólnie opracowaną architekturę referencyjną systemu operacyjnego Palantir Sovereign AI (SAIOS), którą obsługują Dell Technologies i Cisco. Zastrzeżone dane, wagi modeli i wnioskowanie pozostają w jednym, kontrolowanym środowisku, a stos można wdrożyć lokalnie z Cisco lub Dell, albo w kolokacji i chmurze z Rackspace i Nebius. Palantir i NVIDIA zapowiadają, że zamierzają rozszerzyć wiedzę zdobytą dzięki wdrożeniu firmy NVIDIA na klientów z branży rolniczej, produkcyjnej, farmaceutycznej, handlu detalicznego, energetycznej, opieki zdrowotnej, motoryzacyjnej, lotniczej i rządowej. Zaprezentują stos i jego zastosowania branżowe podczas konferencji Palantir AIPCon 11.
Amazon