世界动作模型(WAM)通常借助视频生成来连接视觉世界建模与机器人控制。然而,基于视频的 WAM 存在三个相互关联的局限:密集的多帧未来 token 导致推理成本高昂;完整的视频预测将容量花费在与动作无关的时间与外观细节上;长时程的未来想象可能引入错误,进而误导动作预测。这些局限引出一个简单问题:世界动作模型真的需要视频生成吗?
来自 arXiv 的最新论文《ImageWAM: Do World Action Models Really Need Video Generation, or Just Image Editing?》给出了否定回答。作者提出 ImageWAM,一个简单的 WAM 框架,将预训练的图像编辑模型重新用于机器人动作预测。与视频生成不同,图像编辑提供了更匹配的先验:它只需建模目标帧的变换,聚焦于动作相关的当前帧到目标帧的视觉差异,并通过编辑预训练将任务指令接地到局部视觉变化上。
在实践中,ImageWAM 在推理时并不解码目标帧。相反,它利用图像编辑去噪过程产生的 KV 缓存作为紧凑的世界动作上下文,条件化一个流匹配动作专家。这种设计避免了视频生成中未来帧解码的开销,同时保留了编辑模型对视觉变化的理解。
实验结果表明,ImageWAM 在不同仿真器和真实世界实验中均优于标准 VLA 基线以及匹配的竞争性 WAM,且无需额外的策略预训练。在效率方面,ImageWAM 将 FLOPs 降至基于视频的 WAM 的 1/6,延迟降至 1/4。注意力分析进一步显示,编辑缓存聚焦于任务相关的变化区域,支持图像编辑作为基于视频的世界动作建模的有效替代方案。
该论文由 Yuyang Zhang 等 10 位作者于 2026 年 6 月 17 日提交至 arXiv,属于计算机视觉与模式识别(cs.CV)和机器人学(cs.RO)领域。项目页面提供了更多细节。这项工作挑战了 WAM 必须依赖视频生成的默认假设,为高效机器人控制提供了新思路。