NVIDIA 借助代理技能赋能自动驾驶、机器人和视觉AI的物理AI研究新纪元

在CVPR 2026上，NVIDIA公布了全新的物理AI代理技能，旨在帮助研究人员和开发者加速自动驾驶、机器人及视觉AI系统的研发。当前物理AI研究的核心挑战并非单纯开发更强的模型，而是构建围绕模型的完整工作流程——包括真实世界场景重建、边缘案例生成、策略训练、行为评估及快速迭代。这些步骤目前分散在不同的工具中，阻碍了实验效率。

NVIDIA Cosmos 3作为首个统一视觉推理、世界生成和动作生成的开放前沿模型，为物理AI提供了核心能力。新的物理AI代理技能与Cosmos 3、NVIDIA库及仿真框架配合，使研究人员能够比以往更快地从模型能力扩展到可扩展的端到端工作流。

在自动驾驶领域，NVIDIA推出了神经重建技能，可将车队采集的数据转化为可编辑的3D场景，用于仿真和合成数据生成。AlpaGym是一个开源闭环强化学习框架，可在数千GPU上扩展策略推演和仿真。OmniDreams则是一个动作条件的生成世界模型，为仿真循环添加了逼真渲染。此外，Alpamayo 2 Super是一个320亿参数的开放VLA模型，可推理、规划并执行完整驾驶栈，助力L4级自动驾驶。

对于视觉AI，新的Metropolis技能利用AI代理生成合成视觉场景，包括异常检测、数据增强和伪标签。缺陷图像生成技能允许研究人员使用真实图像在不同表面上创建罕见缺陷示例。视频搜索与摘要（VSS）技能则帮助从海量视频数据中提取洞察。

在机器人领域，Isaac Sim 6.0包含代理友好的技能和连接器，可自动化场景准备、仿真和机器人学习中的常见步骤。Isaac Lab技能支持强化学习的设置、训练和评估。移动性技能自动化导航工作流，而手术模拟器Cosmos-H-Surgical-Simulator则生成真实手术数据用于策略训练。

NVIDIA的技术被CVPR 2026多数论文引用，研究团队在大会上展示了多项成果，并主办了AI City挑战赛、PAI-AV推理挑战赛等开放研究竞赛。物理AI数据集在Hugging Face上的下载量已超1500万次，新发布的GRAIL数据集包含约50小时的人形物体交互数据。这些代理工具和技能已在GitHub上开放，并可通过NVIDIA Brev作为物理AI Launchables即时体验。