팔란티어와 엔비디아는 공급망 운영을 위한 독자적인 AI 스택을 구축하고, 이를 엔비디아 자체 공급망에서 우선적으로 운영하고 있습니다. 엔비디아의 공급망은 베라 루빈 랙 하나당 1.3만 개의 부품을 배치해야 하는 핵심적인 역할을 담당합니다. 이 스택은 엔비디아의 네모트론 개방형 모델을 팔란티어 파운드리와 팔란티어 온톨로지를 기반으로 하는 인공지능 플랫폼(AIP)에 통합하여, 계획 담당자에게 공급망 전반에 걸친 가시성을 제공하고, 제약 조건을 조기에 파악하며, 지금까지는 사람의 머릿속에만 존재했던 운영 판단을 체계화하는 것을 목표로 합니다. 엔비디아의 도입은 자재 할당부터 시작됩니다. 어떤 부품이 어디로 가야 하는지에 대한 결정은 웨이퍼에서 첫 번째 토큰까지 랙이 이동하는 속도를 좌우합니다.
NVIDIA의 공급망, 첫 번째 고객으로서
랙 규모의 AI 시스템을 구축하려면 컴퓨팅, 메모리, 네트워킹, 전력, 냉각 및 기계 부품이 수천 개의 공급업체와 글로벌 제조 네트워크를 통해 동시에 공급되어야 합니다. NVIDIA에 따르면 Vera Rubin의 공급망은 Grace Blackwell의 공급망보다 두 배나 더 큽니다. 새로운 스택을 통해 NVIDIA의 공급망 팀은 할당 결정부터 시작하여 제약 조건을 조기에 파악하고, 대안을 더 빠르게 평가하고, 전체 생산에 미치는 영향을 기반으로 자재를 할당할 수 있는 '공유 명령 센터'를 구축할 수 있습니다.
엔비디아의 창립자 겸 CEO인 젠슨 황은 “공급망은 물리적 경제의 운영 체제이며, AI 공장은 지금까지 구축된 시스템 중 가장 복잡한 시스템 중 하나입니다.”라고 말했습니다. “웨이퍼와 부품부터 제조, 시스템, 고객 배송에 이르기까지 수백 개의 기업과 수조 달러 규모의 글로벌 경제 활동이 AI 인프라를 구축하기 위해 한데 모입니다.” 팔란티어의 공동 창립자 겸 CEO인 알렉스 카프는 더욱 직설적으로 말했습니다. “엔비디아는 세계에서 가장 가치 있고, 복잡하며, 정교한 공급망을 보유하고 있다고 해도 과언이 아닙니다.” 두 회사는 작년 10월 GTC DC 에서 AI 공동 개발 계획을 처음 발표했으며 , 이번 발표는 그 파트너십을 통해 실제로 구축된 시스템을 보여주는 사례입니다.
훈련 후 네모트론, cuOpt 및 인간 참여형 시스템
Palantir 고객은 NVIDIA NeMo 데이터 라이브러리를 사용하여 데이터를 준비하고 증강한 후 Foundry 및 AIP 내에서 자체 운영 데이터를 기반으로 Nemotron 모델을 학습시킵니다. AIP 내에서 NVIDIA cuOpt는 최적화 및 시나리오 계획을 처리하므로 팀은 공급 제약을 모델링하고, 절충안을 비교하고, 할당 결정을 내리기 전에 운영에 미치는 영향을 확인할 수 있습니다. 학습된 모델은 조치를 권장하고, 절충안을 설명하고, 발생 가능한 위험을 표시하며, 공급망 전문가가 최종 결정을 내립니다. NeMo AutoModel 및 NeMo RL 라이브러리와 통합된 Palantir Autopilot은 각 권장 사항, 계획 담당자의 조치 및 생산 결과를 모델 개선에 다시 반영하여 전체 과정을 완료합니다. 이를 통해 담당자가 이동하더라도 운영 지식이 손실되지 않고 보존된다고 Palantir 측은 설명합니다.
NVIDIA의 자체 배포에 대한 기술 문서를 보면 모델 작업이 얼마나 간단한지 알 수 있습니다. 프로덕션 모델은 Nemotron 3.5 Lightning으로, 약 3억 개의 매개변수를 가진 전문가 혼합 모델이며, 한 번의 학습 패스마다 약 30억 개의 매개변수가 활성화됩니다. 에이전트 기반 워크플로우를 위해 더 큰 Nemotron 3 Ultra 대신 이 모델이 선택되었습니다. 학습 후, 기본 가중치를 고정한 LoRA 어댑터를 사용하여 두 개의 B200 GPU에서 몇 분 만에 학습을 완료했습니다. NVIDIA의 내부 할당 결정 벤치마크에서 학습 후 Lightning 모델은 86.7%의 정확도를 기록했는데, 이는 조정되지 않은 Nemotron 3 Ultra보다 31.2점, 자체 기본 가중치보다 69.2점 높은 수치입니다. 이 수치는 NVIDIA가 자체 데이터에 대해 얻은 결과이지만, 이러한 접근 방식의 타당성을 입증합니다. 즉, 조직의 의사 결정을 반영하여 학습된 소규모 개방형 모델이 해당 조직의 문제 해결에 있어 훨씬 더 큰 범용 모델보다 우수한 성능을 보인다는 것입니다.
주권적 디자인
데이터가 NVIDIA의 공급망에 속하기 때문에, 이 시스템은 NVIDIA 레퍼런스 아키텍처와 Dell Technologies 및 Cisco가 지원하는 Palantir Sovereign AI Operating System Reference Architecture(SAIOS)를 기반으로 구축됩니다. 독점 데이터, 모델 가중치 및 추론은 단일 관리 환경 내에 유지되며, 이 스택은 Cisco 또는 Dell을 통해 온프레미스에 배포하거나 Rackspace 및 Nebius를 통해 코로케이션 및 클라우드에 배포할 수 있습니다. Palantir와 NVIDIA는 NVIDIA의 구축 경험을 바탕으로 농업, 제조, 제약, 소매, 에너지, 의료, 자동차, 항공우주 및 정부 분야의 고객에게 서비스를 확대 적용할 계획이며, Palantir의 AIPCon 11에서 해당 스택과 산업별 적용 사례를 선보일 예정입니다.
아마존