arXiv 于 2026 年 10 月 21 日(周三)18:33:13 UTC 收到标题为《Self-Distilling Future Video Representations for World Action Models》的论文投稿,编号 arXiv:2610.30320v1,主分类为机器人学(cs.RO),交叉分类包括计算机视觉与模式识别(cs.CV)。论文由 Huiwon Jang 领衔,共 6 位作者,提交者为 Suhyeok Jang,全文共 27 页,并附有项目主页链接;稿件大小为 2,967 KB,DOI 为 https://doi.org/10.48550/arXiv.2610.30320,由 DataCite 发放(登记待完成)。读者可通过 PDF、实验性 HTML 版本以及 TeX 源码获取全文。
研究背景方面,论文指出世界动作模型(World Action Models,WAMs)已成为学习通用机器人策略的一条有前景的路径,其核心思路是利用预训练视频扩散模型所蕴含的丰富时空先验。近期一类 WAM 为了提升推理效率,不再执行生成视频所需的昂贵迭代去噪,而是仅从单步去噪中提取中间的未来视频表示,并将一个独立的动作解码器建立在这些表示之上进行条件化。这种设计使动作预测直接依赖于未来表示的质量,换言之,单步去噪所产出的表示若不够准确,动作解码就会随之退化,成为整条流水线的关键瓶颈。
针对这一问题,作者提出名为 FRED 的框架,全称为 Future REpresentation learning via self-Distillation with temporal context,即“带时间上下文的自蒸馏未来表示学习”。FRED 的目标是训练 WAM 在单步去噪中从噪声直接恢复出更高质量的未来视频表示。具体做法是采用自蒸馏:以从真实未来观测中提取的表示作为目标,让模型学习从噪声预测这些未来表示。此外,作者进一步让视频模型以历史观测为条件,为预测未来表示提供时间上下文,从而更准确地推断后续画面所应包含的信息。
实验部分,论文称在多种真实世界操作场景中,FRED 一致优于同类的竞争 WAM 方法。尤其在零样本环境泛化的设定下,FRED 在长时程任务与分布外任务上取得显著更大的提升。更引人注目的是人到机器人的技能迁移效果:对于未出现在机器人训练数据中、仅在人类视频中演示过的任务,FRED 达到 50.0% 的任务成功率,而表现最好的竞争 WAM 仅为 19.4%。这一对比说明,借助自蒸馏提升单步未来表示的质量,可以实质性地改善机器人对未见任务的泛化与从人类示范中学习的能力。需要注意的是,以上数据均来自论文作者的自我报告,尚待独立复现与同行评议验证;论文目前为 v1 预印本,后续版本可能有所修订。