SCAR:面向跨具身的自监督连续动作表征学习
在具身智能研究中,动作始终处于核心位置,但如何仅从视觉变化中学习到可迁移的动作表征,仍然是一个根本性难题。这一困难在需要跨具身泛化、且数据受限的世界模型中尤为突出。来自 arXiv 的一篇新论文《SCAR: Self-Supervised Continuous Action Representation Learning》对此提出了自己的见解:动作不应只被视为一种辅助的条件信号,而应被看作一个独立的表征因子,用以将可控变化与具体具身相关的驱动方式解耦。
该论文由 Hongjia Liu 等共六位作者完成,于 2026 年 5 月 13 日提交至 arXiv,编号为 2605.16412,属于机器人学(cs.RO)方向,同时涉及计算机视觉与模式识别(cs.CV)。作者提出名为 SCAR 的联合逆动力学—前向动力学框架,用于从视觉变化中学习跨具身的统一动作表征。
SCAR 的架构建立在一个预训练的生成式骨干网络之上。其核心包含两个部分:逆动力学模型(IDM)负责从潜在观测对中推断潜在动作;前向动力学模型(FDM)则以这些潜在动作为条件,预测未来的动态演化。通过这种逆—前向联合建模,模型能够在没有显式动作标签的情况下,自监督地获得动作的连续表征。
为了避免学到的潜在空间仅仅成为通用的视觉瓶颈,作者在训练中引入两项关键正则化。其一,将潜在动作后验分布向标准高斯先验靠拢,从而限制任意的视觉编码,使潜在变量真正承载动作信息;其二,引入对抗性不变性约束,抑制与具体具身和环境相关的干扰因素。这两项设计共同促使潜在动作空间具备可迁移性,而非简单地记忆视觉特征。
实验在 Procgen 与 Robotwin 两个数据集上进行。结果表明,所学的统一潜在动作表征作为世界模型的条件接口,优于具体具身特有的原始动作。它在跨具身的低数据适应以及跨任务迁移方面均带来提升。作者据此认为,动作可以被学习为跨具身可控变化的共享表征,从而为构建更具可迁移性与泛化能力的世界模型提供接口。
这项工作的重要意义在于重新界定了动作在世界模型中的角色:它不是附属于某一具体机器人形态的原始控制量,而是一种能够抽象出"可控变化"的共享表征。若这一思路得到进一步验证,将有助于缓解具身智能中跨平台数据稀缺、模型难以迁移的痛点,并推动世界模型在不同机器人形态与任务之间更高效地复用知识。