在主动感知与机器人三维重建领域,一个长期存在的效率瓶颈是:机器人究竟应该从哪些视角进行拍摄,才能在尽量少的物理采集次数下获得尽可能完整的表面测量。Nikita Sarawgi 等三位作者在论文《Incorporating World Models in Decision Making for Next Best View Selection in Active Sensing》中提出了一套面向实际部署的“下一最佳视角”(next-best-view)选择方法,试图用预训练世界模型来指导视角决策,同时解决一个关键的现实问题——世界模型预测出的表面,未必能在实际传感器的工况下产生有效的深度测量。该论文已被 CoRL 2026 的 Workshop“Do Robots Need World Models?”接收,于 2026 年 11 月 9 日提交至 arXiv,编号为 arXiv:2611.13229v1,属于机器人学(cs.RO)分类,DOI 为 10.48550/arXiv.2611.13229。
论文的出发点很明确:高效的机器人三维重建需要在少量物理拍摄的前提下,挑选那些能够带来新表面测量的视角。预训练的世界模型具备预测能力,可以为这一选择提供引导。但作者指出,模型“预测到”某个表面,并不等于部署中的传感器“能测到”该表面。例如结构光传感器在特定材质、反光、遮挡或距离条件下可能出现测量丢失(measurement dropout),导致预测中存在的表面在实际重建中留下空洞。如果视角选择方法完全信任预训练预测器,就可能反复选择那些在预测上“看起来有价值”、实际上却测不出有效数据的视角。
针对这一问题,作者提出了一种部署适配(de-ployment adaptation)方法。其核心思路是:保持预训练预测器固定不变,仅利用有限的本地标定数据学习一个“传感器回传适配器”(sensor-return adapter)。这个适配器的作用是估计每个预测表面上的测量丢失情况,从而让视角选择策略倾向于那些更可能填补实测重建中空洞的视角。换句话说,方法并不去改动世界模型本身对几何的预测,而是在决策层面引入对本地传感器实际回传特性的认识,把“预测得到的表面”与“传感器能否真正测到”这两个层面区分开来。这种设计的意义在于,它允许机器人在数据稀缺的环境中复用已有的预训练预测模型,而不必为每个新部署场景重新训练大规模模型。
作者在真实机器人平台上使用结构光传感器进行了实验。结果显示,与名义上的(nominal)选择方法相比,经过适配的方法在实测表面覆盖率上更高,同时拍摄次数减少了 60%。更具说明性的一点是,适配方法能够恢复出一块表面区域,而名义方法会反复对准该区域却始终无法完成有效测量。这一对比直观地体现了方法的价值:问题并不只是“拍得多少”,而是“拍的地方是否真的能测到”。名义方法之所以在该区域反复失败,正是因为它没有对传感器回传的可靠性建模;而适配方法通过估计测量丢失,避免了在无效视角上的重复投入。
从更广的意义上看,这项工作给出的结论是:机器人可以复用预训练的预测模型,同时把决策适配到本地的实际运行条件上,即便是在数据稀缺的环境中也行得通。它回应了“机器人是否需要世界模型”这一研讨会主题——答案并非简单的需要或不需要,而是世界模型如何与真实传感器的局限性结合使用。论文同时留下了值得关注的边界条件:适配器依赖有限的本地标定数据,其效果与该数据的代表性相关;实验目前基于结构光传感器与真实机器人平台,方法在其他传感模态与场景下的泛化能力仍有待验证。论文全文以 PDF、实验性 HTML 与 TeX 源码形式在 arXiv 上公开,并提供音频摘要等附加功能。