机器人策略学习中的仿真到现实(sim2real)迁移长期受困于仿真环境与现实世界之间的不匹配。现有方法通常将视觉外观差异和动力学差异分开处理,通过独立的适应模块来分别弥补,当两种差距同时存在时,则将这些模块组合或堆叠使用。然而,这种思路忽略了一个根本前提:仿真与现实之间之所以能够进行迁移,是因为任务本身存在共享结构——等价的配置下执行等价的动作,会产生等价的长期结果,而不论渲染或物理细节存在何种域特定差异。
受此启发,Yunfu Deng和Josiah P. Hanna在论文《BIFROST: Bridging Invariant Feature Representation for Observation-space Sim2Real Transfer》中,探索能否直接从原始观测中识别并利用这种共享结构,从而训练出可零样本迁移的策略。他们提出的BIFROST方法,核心是在成对的跨域数据上学习一个共享的历史编码器,采用跨域双模拟(bisimulation)目标:将导致等效长期行为的观测-动作序列映射到潜在空间中彼此接近的状态,而不论这些序列来自哪个域。这样一来,编码器学习到的潜在表示就捕捉了跨域不变的特征,过滤掉了域特有的渲染或动力学干扰。
在训练阶段,BIFROST在仿真环境中基于这些潜在状态训练策略。由于潜在空间已经对齐了跨域等效行为,策略无需在真实世界中微调即可直接部署,实现零样本迁移。作者在多个任务上验证了方法的有效性,包括仿真到仿真(sim2sim)的视觉导航任务、仿真到现实(sim2real)的接触丰富操作任务以及视觉伺服任务。实验结果表明,在同时存在视觉域差距和动力学域差距的情况下,BIFROST能够实现有效迁移,而传统的域适应方法和联合训练基线则表现不佳甚至失败。
该研究为sim2real迁移提供了一种新视角:与其分别修补各个域差距,不如从数据中学习跨域共享的抽象表示,利用任务固有的结构不变性来弥合差异。BIFROST的跨域双模拟目标为从原始观测中提取不变特征提供了可操作的框架,有望推动机器人策略在真实世界中的零样本部署。论文提交于2026年7月1日,属于机器人学(cs.RO)和机器学习(cs.LG)交叉领域。