NVIDIA profite de la conférence CoRL (Conference on Robot Learning) en Corée pour présenter ses avancées les plus ambitieuses à ce jour dans le domaine de l'apprentissage robotique. L'entreprise met en avant une suite de modèles ouverts, de nouvelles plateformes informatiques performantes et des moteurs de simulation visant à combler le fossé entre la recherche en robotique et son déploiement concret.
Au cœur des annonces de NVIDIA figurent les défis de mobilité et de manipulation, deux des obstacles les plus complexes de la robotique. En combinant raisonnement basé sur l'IA, simulation physique avancée et plateformes de calcul spécifiques à chaque domaine, NVIDIA vise à accélérer l'ensemble du cycle de développement robotique, depuis la R&D et la simulation initiales jusqu'à la formation et, in fine, le déploiement en environnement physique.
Modèles ouverts pour l'apprentissage de la robotique : DreamGen et Nerd
NVIDIA a présenté DreamGen et Nerd, deux modèles de fondation ouverts conçus spécifiquement pour l'apprentissage robotique.
- RêveGen se concentre sur la génération d'environnements de formation diversifiés pour la simulation robotique, en produisant des scénarios qui exposent les robots aux cas limites et à la variabilité qu'ils rencontreraient dans le monde réel.
- Nerd, un Développement de la robotique neuronale modèle, fournit des capacités avancées de perception et de raisonnement, permettant aux robots de comprendre les environnements naturels, de prédire les résultats et d'adapter leur comportement de manière dynamique.
En publiant ces modèles en accès libre, NVIDIA renforce son engagement envers la recherche collaborative en robotique, réduisant ainsi les obstacles à l'entrée pour les laboratoires et les startups, et garantissant la reproductibilité dans les environnements académique et industriel. Ces modèles peuvent être directement intégrés aux frameworks robotiques Isaac, simplifiant ainsi l'expérimentation et le déploiement.
Nouvelles plateformes informatiques : simulation, formation et déploiement
NVIDIA a également annoncé trois nouveaux systèmes informatiques optimisés pour chaque étape du développement robotique :
Omniverse avec Cosmos sur RTX Pro (Simulation)
-
- Fournit un environnement précis en physique pour simuler des tâches robotiques.
- S'intègre au laboratoire Isaac récemment mis à niveau pour l'apprentissage par renforcement, les tests de contrôle et la création d'environnement.
- Cosmos s'appuie sur La plateforme Omniverse RTX de NVIDIA, avec rendu par lancer de rayons, photoréalisme et randomisation de domaine, essentiels pour le transfert de la simulation vers la réalité en robotique.
- Les chercheurs peuvent créer des simulations réalistes à grande échelle sans recourir à des essais physiques coûteux et risqués.
NVIDIA DGX (Formation)
- Positionné comme l'épine dorsale informatique pour la formation de grands modèles d'apprentissage robotique.
- Utilise les GPU d'architecture NVIDIA Blackwell, permettant un raisonnement en temps réel pour l'IA robotique avec une latence extrêmement faible.
- Optimisé pour les charges de travail multimodales, combinant la vision, le langage, le mouvement et le retour d'information environnemental dans des modèles unifiés.
- Réduit rapidement le cycle de formation aux comportements robotiques utilisables, avec la capacité de passer de l'expérimentation en laboratoire à la R&D industrielle.
NVIDIA Jetson AGX Thor (déploiement)
- Conçu pour l'inférence sur l'appareil et l'autonomie dans des conditions réelles.
- Intègre l'accélération Transformer Engine pour les charges de travail LLM et de diffusion directement dans les systèmes robotiques embarqués.
- Son profil économe en énergie le rend viable pour les robots mobiles commerciaux, les drones et les manipulateurs automatisés.
- Avantage : permet de faire sortir le raisonnement en temps réel, de type humain, du centre de données et de l'introduire directement dans le monde physique.
- Moteur physique Newton dans le laboratoire Isaac
Newton Physics Engine, annoncé pour la première fois au GTC 2025, a été développé en collaboration avec Disney Research et Google DeepMind.
- Newton intègre la physique des corps rigides, la dynamique des fluides et la dynamique des corps mous dans les simulations.
- Au sein du laboratoire Isaac, les chercheurs disposent désormais de capacités de modélisation précises pour le contact, le frottement, la déformation et les interactions multi-matériaux.
- Cette fidélité permet aux roboticiens d'entraîner des tâches de manipulation, telles que la saisie d'objets fragiles ou la navigation sur un terrain accidenté, avec une fiabilité de transfert élevée vers des applications du monde réel.
NVIDIA a également présenté l'évolution continue de sa famille de modèles Groot pour le raisonnement robotique, passant de Groot N1.5 (annoncé en mai) à Groot N1.6. Ces modèles sont optimisés pour une planification, un raisonnement et une décomposition de tâches de type humain, permettant aux robots de décomposer des tâches complexes en étapes exécutables, à la manière d'un opérateur humain.
Blackwell : Piloter le raisonnement robotique en temps réel
NVIDIA a mis en avant comment sa nouvelle architecture GPU Blackwell permet un raisonnement en temps réel en robotique.
- Grâce à des capacités de calcul à l'échelle d'un transformateur intégrées dans des formats économes en énergie, les robots peuvent exécuter des prises de décision en temps réel, des planifications de trajectoire et des inférences multimodales.
- Cela signifie que les robots ne sont plus limités au traitement par lots sur des serveurs cloud ; ils peuvent penser et agir à la volée.
- Les principaux domaines d’application comprennent l’automatisation de la logistique, la robotique des soins de santé, la manipulation industrielle et la mobilité autonome.
Importance
L'avancée de NVIDIA dans le domaine de la robotique est significative non seulement par la diversité des outils introduits, mais aussi par l'intégration étroite de l'écosystème. Parmi les avancées, on peut citer :
- Modèles ouverts:Égaliser les règles du jeu et encourager l’innovation rapide dans le monde universitaire et dans l’entreprise.
- Moteurs de simulation:Réduisez les coûts et les risques liés à l’itération du matériel, en garantissant des transferts plus rapides du laboratoire à la production.
- Calcul évolutif (DGX + Jetson):Assurez la continuité ; les mêmes modèles peuvent être formés sur des clusters DGX puis déployés efficacement avec Jetson AGX Thor.
- Progrès du raisonnement robotiqueComblant une lacune majeure des systèmes actuels, la plupart des robots sont réactifs plutôt que proactifs. NVIDIA leur donne la capacité de planifier et de raisonner comme les humains.
Alors que la mobilité et la manipulation restent un défi, l'approche unifiée de NVIDIA, combinant des modèles de recherche ouverts, une simulation précise en physique et un calcul prêt à être déployé, la positionne comme une force centrale pour accélérer l'autonomie robotique.
Amazon