NVIDIA 藉助代理技能賦能自動駕駛、機器人和視覺AI的物理AI研究新紀元

在CVPR 2026上，NVIDIA公佈了全新的物理AI代理技能，旨在幫助研究人員和開發者加速自動駕駛、機器人及視覺AI系統的研發。當前物理AI研究的核心挑戰並非單純開發更強的模型，而是構建圍繞模型的完整工作流程——包括真實世界場景重建、邊緣案例生成、策略訓練、行為評估及快速迭代。這些步驟目前分散在不同的工具中，阻礙了實驗效率。

NVIDIA Cosmos 3作為首個統一視覺推理、世界生成和動作生成的開放前沿模型，為物理AI提供了核心能力。新的物理AI代理技能與Cosmos 3、NVIDIA庫及模擬框架配合，使研究人員能夠比以往更快地從模型能力擴充套件到可擴充套件的端到端工作流。

在自動駕駛領域，NVIDIA推出了神經重建技能，可將車隊採集的資料轉化為可編輯的3D場景，用於模擬和合成資料生成。AlpaGym是一個開源閉環強化學習框架，可在數千GPU上擴充套件策略推演和模擬。OmniDreams則是一個動作條件的生成世界模型，為模擬迴圈新增了逼真渲染。此外，Alpamayo 2 Super是一個320億引數的開放VLA模型，可推理、規劃並執行完整駕駛棧，助力L4級自動駕駛。

對於視覺AI，新的Metropolis技能利用AI代理生成合成視覺場景，包括異常檢測、資料增強和偽標籤。缺陷影像生成技能允許研究人員使用真實影像在不同表面上建立罕見缺陷示例。影片搜尋與摘要（VSS）技能則幫助從海量影片資料中提取洞察。

在機器人領域，Isaac Sim 6.0包含代理友好的技能和聯結器，可自動化場景準備、模擬和機器人學習中的常見步驟。Isaac Lab技能支援強化學習的設定、訓練和評估。移動性技能自動化導航工作流，而手術模擬器Cosmos-H-Surgical-Simulator則生成真實手術資料用於策略訓練。

NVIDIA的技術被CVPR 2026多數論文引用，研究團隊在大會上展示了多項成果，並主辦了AI City挑戰賽、PAI-AV推理挑戰賽等開放研究競賽。物理AI資料集在Hugging Face上的下載量已超1500萬次，新發布的GRAIL資料集包含約50小時的人形物體互動資料。這些代理工具和技能已在GitHub上開放，並可透過NVIDIA Brev作為物理AI Launchables即時體驗。