跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

SCAR:自监督连续动作表示学习

文章摘要

SCAR 提出一种联合逆-前向动力学框架,从视觉 transitions 中学习跨具身统一的潜在动作表示,并在 Procgen 与 Robotwin 数据集上证明其比原始动作更适合作为世界模型的条件接口。

来源arXiv Robotics作者: Hongjia Liu, Fan Feng, Minghao Fu, Xinyue Wang, Haofei Lu, Biwei Huang
SCAR:自监督连续动作表示学习
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

SCAR:面向跨具身的自监督连续动作表征学习

在具身智能研究中,动作始终处于核心位置,但如何仅从视觉变化中学习到可迁移的动作表征,仍然是一个根本性难题。这一困难在需要跨具身泛化、且数据受限的世界模型中尤为突出。来自 arXiv 的一篇新论文《SCAR: Self-Supervised Continuous Action Representation Learning》对此提出了自己的见解:动作不应只被视为一种辅助的条件信号,而应被看作一个独立的表征因子,用以将可控变化与具体具身相关的驱动方式解耦。

该论文由 Hongjia Liu 等共六位作者完成,于 2026 年 5 月 13 日提交至 arXiv,编号为 2605.16412,属于机器人学(cs.RO)方向,同时涉及计算机视觉与模式识别(cs.CV)。作者提出名为 SCAR 的联合逆动力学—前向动力学框架,用于从视觉变化中学习跨具身的统一动作表征。

SCAR 的架构建立在一个预训练的生成式骨干网络之上。其核心包含两个部分:逆动力学模型(IDM)负责从潜在观测对中推断潜在动作;前向动力学模型(FDM)则以这些潜在动作为条件,预测未来的动态演化。通过这种逆—前向联合建模,模型能够在没有显式动作标签的情况下,自监督地获得动作的连续表征。

为了避免学到的潜在空间仅仅成为通用的视觉瓶颈,作者在训练中引入两项关键正则化。其一,将潜在动作后验分布向标准高斯先验靠拢,从而限制任意的视觉编码,使潜在变量真正承载动作信息;其二,引入对抗性不变性约束,抑制与具体具身和环境相关的干扰因素。这两项设计共同促使潜在动作空间具备可迁移性,而非简单地记忆视觉特征。

实验在 Procgen 与 Robotwin 两个数据集上进行。结果表明,所学的统一潜在动作表征作为世界模型的条件接口,优于具体具身特有的原始动作。它在跨具身的低数据适应以及跨任务迁移方面均带来提升。作者据此认为,动作可以被学习为跨具身可控变化的共享表征,从而为构建更具可迁移性与泛化能力的世界模型提供接口。

这项工作的重要意义在于重新界定了动作在世界模型中的角色:它不是附属于某一具体机器人形态的原始控制量,而是一种能够抽象出"可控变化"的共享表征。若这一思路得到进一步验证,将有助于缓解具身智能中跨平台数据稀缺、模型难以迁移的痛点,并推动世界模型在不同机器人形态与任务之间更高效地复用知识。

展开要点与分析

文章情报

工程师进阶

要点

  • 动作被视为解耦可控变化与具身驱动的独立表示因子,而非辅助条件信号。
  • 利用逆动力学模型(IDM)从潜在观察对推断潜在动作,前向动力学模型(FDM)据此预测未来动态。
  • 通过对潜在动作后验施加高斯先验正则和对抗不变性约束,提升跨具身、跨环境的可迁移性。
  • 在 Procgen 与 Robotwin 上,统一潜在动作表示在低数据跨具身适应和跨任务迁移上优于原始动作。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。