Palantir en NVIDIA hebben een eigen AI-stack ontwikkeld voor supply chain-activiteiten en zetten deze in eerste instantie in binnen NVIDIA's eigen supply chain, die 1.3 miljoen onderdelen moet klaarzetten voor elk Vera Rubin-rack. De stack integreert de open Nemotron-modellen van NVIDIA in Palantir Foundry en het Artificial Intelligence Platform (AIP), gebaseerd op de Palantir Ontology. Het doel is planners inzicht te geven in de gehele keten, knelpunten vroegtijdig te signaleren en operationele beslissingen, die tot nu toe in de hoofden van mensen werden genomen, te systematiseren. De implementatie bij NVIDIA begint met de materiaalallocatie: de beslissingen over welke onderdelen waar terechtkomen, bepalen hoe snel een rack van wafer naar eerste token gaat.
De toeleveringsketen van NVIDIA als eerste klant
Een AI-systeem op rackschaal heeft rekenkracht, geheugen, netwerkverbindingen, stroomvoorziening, koeling en mechanische onderdelen nodig die allemaal tegelijk geleverd moeten worden door duizenden leveranciers en een wereldwijd productienetwerk. NVIDIA zegt dat de toeleveringsketen van Vera Rubin twee keer zo groot is als die van Grace Blackwell. De nieuwe architectuur biedt de supply chain-teams van NVIDIA wat de bedrijven een gedeeld commandocentrum noemen, te beginnen met allocatiebeslissingen. Hierdoor kunnen ze knelpunten eerder identificeren, alternatieven sneller evalueren en materialen toewijzen op basis van de impact op het gehele productieproces.
"Toeleveringsketens vormen het besturingssysteem van de fysieke economie, en AI-fabrieken behoren tot de meest complexe systemen die ooit zijn gebouwd", aldus Jensen Huang, oprichter en CEO van NVIDIA. "Van wafers en componenten tot productie, systemen en levering aan de klant: honderden bedrijven en biljoenen dollars aan wereldwijde economische activiteit komen samen om AI-infrastructuur te leveren." Alex Karp, medeoprichter en CEO van Palantir, verwoordde het nog botter: "NVIDIA heeft wellicht de meest waardevolle, ingewikkelde en complexe toeleveringsketen ter wereld." De twee bedrijven kondigden hun operationele AI-samenwerking voor het eerst aan tijdens GTC DC afgelopen oktober ; dit is het resultaat van die samenwerking in de vorm van een operationeel systeem.
Getrainde Nemotron, cuOpt en een mens in de lus
Klanten van Palantir trainen open Nemotron -modellen na afloop met hun eigen operationele data in Foundry en AIP, waarbij ze de NVIDIA NeMo Data Libraries gebruiken om de modellen voor te bereiden en uit te breiden. Binnen AIP verzorgt NVIDIA cuOpt de optimalisatie en scenarioplanning, zodat teams leveringsbeperkingen kunnen modelleren, afwegingen kunnen maken en de operationele impact van een allocatiebeslissing kunnen inzien voordat deze wordt genomen. Het getrainde model adviseert acties, legt de afwegingen uit en signaleert opkomende risico's, terwijl de supply chain-experts de uiteindelijke beslissing nemen. Palantir Autopilot, geïntegreerd met de NeMo AutoModel- en NeMo RL-bibliotheken, sluit de cirkel door elke aanbeveling, planneractie en productie-uitkomst terug te koppelen naar de modelverbetering. Zo wordt volgens de bedrijven operationele kennis behouden in plaats van verloren te gaan wanneer medewerkers vertrekken.
De technische beschrijving van NVIDIA over hun eigen implementatie geeft een idee van hoe licht de modeltraining is. Het productiemodel is Nemotron 3.5 Lightning, een mixture-of-experts-model met 30 miljard parameters en ongeveer 3 miljard actieve parameters per run. Dit model is gekozen boven het grotere Nemotron 3 Ultra voor agent-workflows. Na de training werden LoRA-adapters gebruikt met bevroren basisgewichten, en de training werd binnen enkele minuten afgerond op twee B200 GPU's. Op NVIDIA's interne benchmark voor allocatiebeslissingen behaalde het na de training getrainde Lightning-model een nauwkeurigheid van 86.7 procent, 31.2 punten hoger dan het ongetrainde Nemotron 3 Ultra en 69.2 punten hoger dan zijn eigen basisgewichten. Dit zijn NVIDIA's cijfers op NVIDIA's eigen data, maar ze onderstrepen de effectiviteit van de aanpak: een klein, open model met de eigen beslissingen van de organisatie erin getraind, presteert beter dan een veel groter, algemeen model voor het probleem van die organisatie.
Soeverein door ontwerp
Omdat de data onderdeel uitmaakt van de toeleveringsketen van NVIDIA, draait de implementatie op NVIDIA-referentiearchitecturen en de gezamenlijk ontwikkelde Palantir Sovereign AI Operating System Reference Architecture (SAIOS), die wordt ondersteund door Dell Technologies en Cisco. Eigen data, modelgewichten en inferentie blijven binnen één gecontroleerde omgeving en de stack kan on-premises worden geïmplementeerd met Cisco of Dell, of in colocatie en de cloud met Rackspace en Nebius. Palantir en NVIDIA geven aan dat ze de lessen die ze leren van de NVIDIA-implementatie willen toepassen op klanten in de landbouw, productie, farmaceutische industrie, detailhandel, energie, gezondheidszorg, automobielindustrie, lucht- en ruimtevaart en overheid, en zullen de stack en de toepassingen ervan in de industrie presenteren op Palantir's AIPCon 11.
Amazon