近年来,世界模型在机器人学习领域发挥了关键作用,它们通过从视觉观测和动作中预测未来状态,使智能体能够推理其控制行为的影响。然而,许多动作条件模型的评估场景通常假设运动主要由即时控制主导,而现实世界中的物体(如水面自主车辆)会受到惯性持续运动以及隐藏环境漂移(例如水流或风力)的影响。这种不匹配限制了模型在真实应用中的表现。
针对这一挑战,Yitao Jiang 及其同事提出了 FlowMo-WM——一种端到端可训练的视觉世界模型。该模型无需流场直接监督,即可从图像和动作历史中推断出物体中心的运动状态以及与隐藏漂移相关的预测性长历史上下文。FlowMo-WM 的核心创新在于将图像-动作历史分解为两个部分:短历史潜在状态,用于总结物体中心的运动;以及长历史上下文,用于总结缓慢变化的外部影响。此外,模型引入了一种零上下文残差过渡机制,在潜在滚动过程中将受动作影响的基础动力学与依赖上下文的漂移效应分离,从而使模型能够更准确地预测长期演变。
为了验证模型的有效性,研究团队在模拟的水面自主车辆环境中进行了实验,该环境包含了多样化的隐藏水流、干扰和随机化的车辆动力学。结果表明,FlowMo-WM 在长时程滚动预测精度上显著优于代表性的动作条件潜在世界模型,例如基于变分自编码器的方法。进一步的预测时间上下文消融实验显示,当推断出的上下文在滚动过程中被归零或打乱时,模型的预测稳定性显著下降,这证实了环境上下文对于应对隐藏漂移至关重要。此外,通过冻结线性探针分析,研究人员揭示了学习到的分解因子中所编码的信息类型,进一步验证了模型分离运动与漂移的能力。例如,短历史潜在状态主要编码物体速度,而长历史上下文则编码水流方向等信息。
FlowMo-WM 的提出为机器人学习中的世界模型提供了新的视角,特别是在处理惯性运动和不可见环境因素方面具有重要潜力。该工作已被提交至 arXiv(编号 2606.13817),并计划在相关领域会议上展示。研究团队还公开了代码和模拟环境,以便其他研究者复现和扩展成果。