NVIDIA 藉助代理技能賦能自動駕駛、機器人和視覺AI的物理AI研究新紀元

在CVPR 2026上，NVIDIA公佈了全新的物理AI代理技能，旨在幫助研究人員和開發者加速自動駕駛、機器人及視覺AI系統的研發。當前物理AI研究的核心挑戰並非單純開發更強的模型，而是構建圍繞模型的完整工作流程——包括真實世界場景重建、邊緣案例生成、策略訓練、行為評估及快速迭代。這些步驟目前分散在不同的工具中，阻礙了實驗效率。

NVIDIA Cosmos 3作為首個統一視覺推理、世界生成和動作生成的開放前沿模型，為物理AI提供了核心能力。新的物理AI代理技能與Cosmos 3、NVIDIA庫及仿真框架配合，使研究人員能夠比以往更快地從模型能力擴展到可擴展的端到端工作流。

在自動駕駛領域，NVIDIA推出了神經重建技能，可將車隊採集的數據轉化為可編輯的3D場景，用於仿真和合成數據生成。AlpaGym是一個開源閉環強化學習框架，可在數千GPU上擴展策略推演和仿真。OmniDreams則是一個動作條件的生成世界模型，為仿真循環添加了逼真渲染。此外，Alpamayo 2 Super是一個320億參數的開放VLA模型，可推理、規劃並執行完整駕駛棧，助力L4級自動駕駛。

對於視覺AI，新的Metropolis技能利用AI代理生成合成視覺場景，包括異常檢測、數據增強和偽標籤。缺陷圖像生成技能允許研究人員使用真實圖像在不同表面上創建罕見缺陷示例。視頻搜索與摘要（VSS）技能則幫助從海量視頻數據中提取洞察。

在機器人領域，Isaac Sim 6.0包含代理友好的技能和連接器，可自動化場景準備、仿真和機器人學習中的常見步驟。Isaac Lab技能支持強化學習的設置、訓練和評估。移動性技能自動化導航工作流，而手術模擬器Cosmos-H-Surgical-Simulator則生成真實手術數據用於策略訓練。

NVIDIA的技術被CVPR 2026多數論文引用，研究團隊在大會上展示了多項成果，並主辦了AI City挑戰賽、PAI-AV推理挑戰賽等開放研究競賽。物理AI數據集在Hugging Face上的下載量已超1500萬次，新發布的GRAIL數據集包含約50小時的人形物體交互數據。這些代理工具和技能已在GitHub上開放，並可通過NVIDIA Brev作為物理AI Launchables即時體驗。