跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

EgoForesight:利用带噪声的自我中心动作有效扩展策略学习

文章摘要

EgoForesight 是一个视觉-语言-动作框架,通过降低不可靠动作标签的影响、并利用演示结果作为补充监督,联合学习机器人演示与自我中心视频,从而在带噪声的自我中心动作数据上实现更高效的规模化扩展。

来源arXiv Robotics作者: Chubin Zhang, Changyuan Wang, Yirui Wang, Ao Li, Shilin Ma, Yue Su, Cai Zhou, Xiuwei Xu, Tianle Zhang, Yansong Tang
EgoForesight:利用带噪声的自我中心动作有效扩展策略学习
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在扩展机器人策略学习规模时,最大的瓶颈之一往往不是模型容量,而是数据质量和监督信号是否可靠。机器人演示能够提供高质量的轨迹监督,但采集成本很高;相比之下,自我中心视频可以覆盖更多任务与环境,然而从视频中进行运动重建和重定向时会引入噪声动作标签,从而削弱监督的有效性。针对这一问题,Chubin Zhang 等十位作者提出了 EgoForesight,一个视觉-语言-动作框架,尝试同时利用这两类数据源,并在带噪声的自我中心动作上实现有效扩展。

EgoForesight 的核心思路是双管齐下:一方面减少不可靠动作标签带来的负面影响,另一方面把演示中呈现的结果作为补充监督信号。为此,该框架引入了一个联合视觉-动作流,将未来视觉表征预测与动作生成耦合起来,使可靠性感知的动作学习与结果驱动的表征迁移统一在同一套架构中。

在动作监督层面,EgoForesight 采用可靠性条件化损坏机制,根据数据来源的可靠性在不同噪声水平之间分配动作监督,并通过可靠性加权回归来调节每个数据源对训练的贡献。这样可以避免噪声标签主导优化过程,同时保留高质量演示的指导作用。

仅有噪声处理还不够,作者进一步设计了特权未来表征蒸馏。该方法使用一个指数移动平均教师模型观察当前场景和干净的未来画面,从场景变化中编码与动作相关的结构;随后,教师的深层表征被用来监督接收损坏未来输入的较早学生层,从而在噪声动作标注之外提供结果驱动的结构信息。

这些机制共同支撑了在带噪声自我中心动作数据上的有效扩展。在测试范围内,EgoForesight 表现出比基线更陡的扩展斜率:当预训练数据达到 30,000 小时时,真实世界开环动作 MSE 降低 20.5%,RoboCasa 少样本成功率提升 8.1 个百分点。经过后训练后,该方法在仿真和真实世界的灵巧操作任务中也取得了较强的绝对性能。该论文属于机器人学与计算机视觉交叉方向,项目页面已公开,论文以 arXiv:2610.31845 发布。

展开要点与分析

文章情报

工程师进阶

要点

  • EgoForesight 联合视觉-动作流将未来视觉表征预测与动作生成耦合在一起。
  • 可靠性条件化损坏与可靠性加权回归降低噪声动作标签的影响,特权未来表征蒸馏则从演示结果中提取监督信号。
  • 在 30,000 小时预训练数据下,真实世界开环动作 MSE 降低 20.5%,RoboCasa 少样本成功率提升 8.1 个百分点。
  • 经过后训练,该方法在仿真与真实世界灵巧操作任务中均取得较强的绝对性能。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。