在扩展机器人策略学习规模时,最大的瓶颈之一往往不是模型容量,而是数据质量和监督信号是否可靠。机器人演示能够提供高质量的轨迹监督,但采集成本很高;相比之下,自我中心视频可以覆盖更多任务与环境,然而从视频中进行运动重建和重定向时会引入噪声动作标签,从而削弱监督的有效性。针对这一问题,Chubin Zhang 等十位作者提出了 EgoForesight,一个视觉-语言-动作框架,尝试同时利用这两类数据源,并在带噪声的自我中心动作上实现有效扩展。
EgoForesight 的核心思路是双管齐下:一方面减少不可靠动作标签带来的负面影响,另一方面把演示中呈现的结果作为补充监督信号。为此,该框架引入了一个联合视觉-动作流,将未来视觉表征预测与动作生成耦合起来,使可靠性感知的动作学习与结果驱动的表征迁移统一在同一套架构中。
在动作监督层面,EgoForesight 采用可靠性条件化损坏机制,根据数据来源的可靠性在不同噪声水平之间分配动作监督,并通过可靠性加权回归来调节每个数据源对训练的贡献。这样可以避免噪声标签主导优化过程,同时保留高质量演示的指导作用。
仅有噪声处理还不够,作者进一步设计了特权未来表征蒸馏。该方法使用一个指数移动平均教师模型观察当前场景和干净的未来画面,从场景变化中编码与动作相关的结构;随后,教师的深层表征被用来监督接收损坏未来输入的较早学生层,从而在噪声动作标注之外提供结果驱动的结构信息。
这些机制共同支撑了在带噪声自我中心动作数据上的有效扩展。在测试范围内,EgoForesight 表现出比基线更陡的扩展斜率:当预训练数据达到 30,000 小时时,真实世界开环动作 MSE 降低 20.5%,RoboCasa 少样本成功率提升 8.1 个百分点。经过后训练后,该方法在仿真和真实世界的灵巧操作任务中也取得了较强的绝对性能。该论文属于机器人学与计算机视觉交叉方向,项目页面已公开,论文以 arXiv:2610.31845 发布。