Palantir y NVIDIA han creado una plataforma de IA soberana para las operaciones de la cadena de suministro y la están implementando primero en la propia cadena de suministro de NVIDIA, la que debe alinear 1.3 millones de piezas para cada rack de Vera Rubin. La plataforma incorpora los modelos abiertos de NVIDIA Nemotron a Palantir Foundry y su Plataforma de Inteligencia Artificial (AIP), basada en la Ontología de Palantir, con el objetivo de brindar a los planificadores visibilidad en toda la cadena, detectar las limitaciones con anticipación y codificar el criterio operativo que, hasta ahora, reside en la mente de las personas. El despliegue de NVIDIA comienza con la asignación de materiales, las decisiones sobre qué piezas van dónde y que determinan la velocidad a la que un rack avanza desde la oblea hasta el primer token.
La cadena de suministro de NVIDIA como primer cliente
Un sistema de IA a escala de rack requiere que la capacidad de procesamiento, la memoria, la conectividad, la alimentación, la refrigeración y los componentes mecánicos lleguen simultáneamente a través de miles de proveedores y una red de fabricación global. NVIDIA afirma que la cadena de suministro de Vera Rubin duplica la de Grace Blackwell. Esta nueva infraestructura proporciona a los equipos de la cadena de suministro de NVIDIA lo que las empresas denominan un centro de mando compartido, desde las decisiones de asignación, lo que les permite identificar las limitaciones con antelación, evaluar las alternativas con mayor rapidez y asignar los materiales en función del impacto en la producción de principio a fin.
“Las cadenas de suministro son el sistema operativo de la economía física, y las fábricas de IA se encuentran entre los sistemas más complejos jamás construidos”, afirmó Jensen Huang, fundador y director ejecutivo de NVIDIA. “Desde obleas y componentes hasta la fabricación, los sistemas y la entrega al cliente, cientos de empresas y billones de dólares de actividad económica global se unen para ofrecer infraestructura de IA”. Alex Karp, cofundador y director ejecutivo de Palantir, lo expresó de forma más directa: “NVIDIA posee, sin duda, la cadena de suministro más valiosa, intrincada y compleja del mundo”. Ambas compañías anunciaron por primera vez su colaboración operativa en IA en GTC DC el pasado octubre ; esta alianza está dando como resultado un sistema implementado.
Nemotron post-entrenado, cuOpt y un humano en el proceso
Los clientes de Palantir entrenan posteriormente los modelos abiertos de Nemotron con sus propios datos operativos en Foundry y AIP, utilizando las bibliotecas de datos NVIDIA NeMo para prepararlos y ampliarlos. Dentro de AIP, NVIDIA cuOpt gestiona la optimización y la planificación de escenarios, de modo que los equipos pueden modelar las restricciones de suministro, sopesar las ventajas y desventajas, y visualizar el impacto operativo de una decisión de asignación antes de tomarla. El modelo entrenado recomienda acciones, explica las ventajas y desventajas e identifica los riesgos emergentes, mientras que los expertos en la cadena de suministro tienen la última palabra. Palantir Autopilot, integrado con las bibliotecas NeMo AutoModel y NeMo RL, cierra el ciclo al retroalimentar cada recomendación, acción del planificador y resultado de producción para la mejora del modelo, lo que, según las empresas, permite preservar el conocimiento operativo en lugar de perderlo cuando el personal cambia de puesto.
El informe técnico de NVIDIA sobre su propia implementación permite apreciar la ligereza del trabajo del modelo. El modelo de producción es Nemotron 3.5 Lightning, un modelo de mezcla de expertos con 30 mil millones de parámetros y aproximadamente 3 mil millones de parámetros activos por pasada, elegido en lugar del Nemotron 3 Ultra, de mayor tamaño, para flujos de trabajo con agentes. El postentrenamiento utilizó adaptadores LoRA con los pesos base congelados y se completó en minutos en dos GPU B200. En la prueba de rendimiento interna de NVIDIA para la toma de decisiones de asignación, el modelo Lightning postentrenado obtuvo una precisión del 86.7 %, 31.2 puntos por encima del Nemotron 3 Ultra sin ajustar y 69.2 puntos por encima de sus propios pesos base. Estas son las cifras de NVIDIA con sus propios datos, pero justifican el enfoque: un modelo abierto pequeño con las decisiones de la propia organización entrenadas supera a un modelo general mucho más grande para el problema de esa organización.
Soberano por diseño
Dado que los datos son propiedad de NVIDIA, la implementación se ejecuta en arquitecturas de referencia de NVIDIA y en la arquitectura de referencia del sistema operativo de IA soberano de Palantir (SAIOS), desarrollada conjuntamente y compatible con Dell Technologies y Cisco. Los datos, los pesos del modelo y la inferencia, de propiedad exclusiva, permanecen dentro de un único entorno controlado, y la plataforma se puede implementar en las instalaciones de Cisco o Dell, o en centros de datos y en la nube con Rackspace y Nebius. Palantir y NVIDIA afirman que pretenden extender la experiencia adquirida con la implementación de NVIDIA a clientes de los sectores agrícola, manufacturero, farmacéutico, minorista, energético, sanitario, automotriz, aeroespacial y gubernamental, y presentarán la plataforma y sus aplicaciones industriales en la conferencia AIPCon 11 de Palantir.
Amazon