在计算机视觉与机器人学交叉领域,生成可直接用于物理仿真的三维资产正成为一个热点方向。然而,现有的大多数3D生成方法要么完全忽略物理属性,要么只能处理单一类型的资产——比如仅限刚体、仅限可变形体或仅限关节体。这种局限性严重制约了生成模型在需要丰富物理交互的下游任务中的应用。
为了解决这一问题,一篇新提交至 arXiv 的论文(编号 2605.21572)提出了 PhysX-Omni,一个统一的仿真就绪物理3D生成框架,能够覆盖多种资产类别。该工作由 Ziang Cao 等八位作者完成,属于计算机视觉与模式识别(cs.CV)以及机器人学(cs.RO)领域。
PhysX-Omni 的核心创新之一是一种新颖且高效的几何表示,专门为视觉语言模型(VLM)量身定制。这种表示能够直接编码高分辨率的三维结构,而无需进行任何压缩,从而显著提升了生成性能。与传统的基于压缩或体素化的方法相比,该表示保留了更丰富的几何细节,使得生成的资产更加精确和逼真。
除了模型架构之外,研究团队还构建了第一个通用的仿真就绪3D数据集,命名为 PhysXVerse。该数据集涵盖了多样化的室内和室外类别,为训练和评估物理感知的3D生成模型提供了宝贵资源。数据集的多样性和规模有助于模型泛化到真实世界的复杂场景。
为了全面且灵活地评估模型在真实环境下的生成与理解能力,作者进一步提出了 PhysX-Bench 基准。该基准围绕六个关键属性设计:几何形状、绝对尺度、材质属性、可供性(affordance)、运动学结构以及功能描述。这些属性共同刻画了一个物理3D资产是否真正“就绪”于仿真。
大量实验表明,无论是采用传统指标还是 PhysX-Bench 进行评估,PhysX-Omni 在生成和理解两方面都表现出色。额外的研究还验证了该框架在仿真就绪场景生成和机器人策略学习中的潜力。作者相信,PhysX-Omni 能够显著推动包括具身AI和基于物理的仿真在内的广泛应用。
该论文提交于2026年5月20日,项目页面提供了更多细节。随着仿真就绪3D生成技术的成熟,未来机器人学习、虚拟现实和自动驾驶等领域有望从中受益,获得更真实、更可控的物理交互环境。