跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

ImageWAM:世界动作模型真的需要视频生成,还是仅需图像编辑?

文章摘要

ImageWAM 提出用预训练图像编辑模型替代视频生成来驱动机器人动作预测,避免了视频世界动作模型推理成本高、关注无关细节和长时程误差累积的问题,在仿真和真实实验中超越 VLA 基线和竞争性 WAM,并将 FLOPs 降至 1/6、延迟降至 1/4。

来源arXiv Computer Vision作者: Yuyang Zhang, Wenyao Zhang, Zekun Qi, He Zhang, Haitao Lin, Jingbo Zhang, Yao Mu, Xiaokang Yang, Wenjun Zeng, Xin Jin
ImageWAM:世界动作模型真的需要视频生成,还是仅需图像编辑?
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

世界动作模型(WAM)通常借助视频生成来连接视觉世界建模与机器人控制。然而,基于视频的 WAM 存在三个相互关联的局限:密集的多帧未来 token 导致推理成本高昂;完整的视频预测将容量花费在与动作无关的时间与外观细节上;长时程的未来想象可能引入错误,进而误导动作预测。这些局限引出一个简单问题:世界动作模型真的需要视频生成吗?

来自 arXiv 的最新论文《ImageWAM: Do World Action Models Really Need Video Generation, or Just Image Editing?》给出了否定回答。作者提出 ImageWAM,一个简单的 WAM 框架,将预训练的图像编辑模型重新用于机器人动作预测。与视频生成不同,图像编辑提供了更匹配的先验:它只需建模目标帧的变换,聚焦于动作相关的当前帧到目标帧的视觉差异,并通过编辑预训练将任务指令接地到局部视觉变化上。

在实践中,ImageWAM 在推理时并不解码目标帧。相反,它利用图像编辑去噪过程产生的 KV 缓存作为紧凑的世界动作上下文,条件化一个流匹配动作专家。这种设计避免了视频生成中未来帧解码的开销,同时保留了编辑模型对视觉变化的理解。

实验结果表明,ImageWAM 在不同仿真器和真实世界实验中均优于标准 VLA 基线以及匹配的竞争性 WAM,且无需额外的策略预训练。在效率方面,ImageWAM 将 FLOPs 降至基于视频的 WAM 的 1/6,延迟降至 1/4。注意力分析进一步显示,编辑缓存聚焦于任务相关的变化区域,支持图像编辑作为基于视频的世界动作建模的有效替代方案。

该论文由 Yuyang Zhang 等 10 位作者于 2026 年 6 月 17 日提交至 arXiv,属于计算机视觉与模式识别(cs.CV)和机器人学(cs.RO)领域。项目页面提供了更多细节。这项工作挑战了 WAM 必须依赖视频生成的默认假设,为高效机器人控制提供了新思路。

展开要点与分析

文章情报

工程师进阶

要点

  • ImageWAM 不生成视频,而是利用图像编辑模型的去噪 KV 缓存作为紧凑的世界动作上下文,条件化流匹配动作专家。
  • 相比视频生成,图像编辑先验更匹配动作预测:只需建模当前帧到目标帧的变换,聚焦与动作相关的视觉差异。
  • 在仿真和真实世界实验中,ImageWAM 无需额外策略预训练即超越标准 VLA 基线和竞争性 WAM。
  • 推理效率显著提升:FLOPs 仅为视频 WAM 的 1/6,延迟为 1/4;注意力分析显示编辑缓存聚焦任务相关变化区域。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。