学习4D几何先验以提高推理效率的世界动作模型
MECo-WAM通过在训练中注入动作相关的4D几何先验，提升了机器人操作性能，且不增加推理成本。方法包括多专家协同训练、衰减4D读取掩码注意力和动作感知时态几何蒸馏。在LIBERO和RoboTwin 2.0上分别达到98.2%和92.6%成功率。
近日，一项发表于arXiv的研究提出了一种名为MECo-WAM的新型世界动作模型（World Action Model, WAM），旨在通过注入4D几何先验来提升机器人操作的精度与效率，同时保持推理阶段的计算轻量化。该研究由Jianjun Zhang等人完成，论文标题为“Learning 4D Geometric Priors for Inference-Efficient World Action Models”。
世界动作模型通过联合建模视觉未来动态与可执行动作序列，在机器人操作领域展现出巨大潜力。然而，现有的视频-动作协同训练方法主要优化外观导向的视频潜在表征，难以捕捉随时间演变的几何信息，而这正是精细操作所必需的。为克服这一局限，MECo-WAM采用了多专家协同训练框架，在训练过程中引入一个轻量级4D专家，该专家受冻结的VGGT编码器的关系目标监督。通过非对称专家可见性设计，避免辅助几何信息到动作生成的因果捷径，确保模型学习到有效的几何先验。
为将几何知识有效转移至部署用的视频-动作通路，研究者提出了衰减4D读取掩码注意力机制。该机制在训练初期提供受限制的当前帧几何引导，并逐步移除这一依赖，使得模型最终能独立依靠视频-动作表征进行推理。此外，动作感知时态几何蒸馏方法被用于对齐帧内几何关系及其时间演化，同时强调与机器人动作最相关的视觉区域，进一步提升表征的鲁棒性。
在部署阶段，所有辅助4D组件均被移除，因此MECo-WAM的推理成本与基线模型完全相同，无需额外计算资源。实验结果表明，该方法在LIBERO基准上达到98.2%的成功率，在RoboTwin 2.0上达到92.6%，并在真实世界操作任务中表现优越，充分证明了其在不增加计算负担的前提下显著提升操作性能的能力。这一研究为高效、精准的机器人操作提供了新的思路，有望推动世界动作模型在工业和服务领域的应用。