跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

通过自蒸馏未来视频表征改进世界动作模型

文章摘要

该论文提出 FRED 框架,利用自蒸馏与时间上下文训练世界动作模型(WAM),在单步去噪中从噪声预测更高质量的未来视频表征,从而提升动作预测性能。在真实机器人操作任务中,FRED 全面超越同类方法,长时序与零样本域外泛化任务增益尤为显著,并将人类视频到机器人技能迁移成功率从 19.4% 提升至 50.0%。

来源arXiv Robotics作者: Huiwon Jang, Suhyeok Jang, Hyeonmo Kang, Seungku Kim, Jinwoo Shin, Sihyun Yu
通过自蒸馏未来视频表征改进世界动作模型
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于 2026 年 10 月 21 日(周三)18:33:13 UTC 收到标题为《Self-Distilling Future Video Representations for World Action Models》的论文投稿,编号 arXiv:2610.30320v1,主分类为机器人学(cs.RO),交叉分类包括计算机视觉与模式识别(cs.CV)。论文由 Huiwon Jang 领衔,共 6 位作者,提交者为 Suhyeok Jang,全文共 27 页,并附有项目主页链接;稿件大小为 2,967 KB,DOI 为 https://doi.org/10.48550/arXiv.2610.30320,由 DataCite 发放(登记待完成)。读者可通过 PDF、实验性 HTML 版本以及 TeX 源码获取全文。

研究背景方面,论文指出世界动作模型(World Action Models,WAMs)已成为学习通用机器人策略的一条有前景的路径,其核心思路是利用预训练视频扩散模型所蕴含的丰富时空先验。近期一类 WAM 为了提升推理效率,不再执行生成视频所需的昂贵迭代去噪,而是仅从单步去噪中提取中间的未来视频表示,并将一个独立的动作解码器建立在这些表示之上进行条件化。这种设计使动作预测直接依赖于未来表示的质量,换言之,单步去噪所产出的表示若不够准确,动作解码就会随之退化,成为整条流水线的关键瓶颈。

针对这一问题,作者提出名为 FRED 的框架,全称为 Future REpresentation learning via self-Distillation with temporal context,即“带时间上下文的自蒸馏未来表示学习”。FRED 的目标是训练 WAM 在单步去噪中从噪声直接恢复出更高质量的未来视频表示。具体做法是采用自蒸馏:以从真实未来观测中提取的表示作为目标,让模型学习从噪声预测这些未来表示。此外,作者进一步让视频模型以历史观测为条件,为预测未来表示提供时间上下文,从而更准确地推断后续画面所应包含的信息。

实验部分,论文称在多种真实世界操作场景中,FRED 一致优于同类的竞争 WAM 方法。尤其在零样本环境泛化的设定下,FRED 在长时程任务与分布外任务上取得显著更大的提升。更引人注目的是人到机器人的技能迁移效果:对于未出现在机器人训练数据中、仅在人类视频中演示过的任务,FRED 达到 50.0% 的任务成功率,而表现最好的竞争 WAM 仅为 19.4%。这一对比说明,借助自蒸馏提升单步未来表示的质量,可以实质性地改善机器人对未见任务的泛化与从人类示范中学习的能力。需要注意的是,以上数据均来自论文作者的自我报告,尚待独立复现与同行评议验证;论文目前为 v1 预印本,后续版本可能有所修订。

展开要点与分析

文章情报

工程师进阶

要点

  • FRED 通过自蒸馏,以真实未来观测提取的表征为目标,提升单步去噪所得未来表征的质量。
  • 引入历史观测作为时间上下文,帮助视频模型更准确地预测未来表征。
  • 在多种真实操作场景中优于现有 WAM,长时序与零样本域外泛化改进明显。
  • 仅用人类视频示范、未见于机器人训练数据的任务成功率达 50.0%,最佳对比方法为 19.4%。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。