arXiv 于 2026 年 6 月 11 日发布了一篇题为《μ₀:可扩展的 3D 交互轨迹世界模型》的新论文(编号 arXiv:2606.13769v1),作者为 Seungjae Lee 等共九人,隶属机器人学(cs.RO)方向,同时涉及计算机视觉(cs.CV)与机器学习(cs.LG)。论文提出一种以 3D 轨迹为核心的世界模型 μ₀,试图解决机器人学习中对特定本体动作标签的依赖问题。
研究背景方面,作者指出,能够刻画“动作如何引发物理变化”的世界模型,可以让机器人学习不再依赖与具体本体绑定的动作标签,从而具备可扩展性。现有路线各有取舍:像素空间的视频模型虽然提供了广泛的视觉先验,却把大量模型容量消耗在稠密外观重建上;直接动作模型则需要本体特定的标签,难以扩展到多种机器人平台。μ₀ 的选择是绕开稠密像素与直接动作建模,转而预测物体、工具、手部以及接触区域等显著交互点的平滑 3D 轨迹,从而形成一种紧凑且与本体无关的运动接口。
为支持从多样视频源训练,作者设计了 TraceExtract 系统,自动提取 3D 监督信号:先选取关键点,再构建全局对齐的轨迹,并把运动片段与分层语言描述关联起来。借助这一监督,μ₀ 的预训练将预训练的视觉-语言骨干网络与一个模块化的轨迹专家相结合,后者用 B 样条控制点表示每个查询并预测未来轨迹。
实验结果显示,μ₀ 在 2D 与 3D 轨迹预测任务上均优于基线,包括已有的轨迹预测模型和采用 token 化的视觉-语言模型方法。由于 μ₀ 在预训练后可冻结并复用,它可以与动作专家配对,适配下游的不同机器人本体。值得注意的是,尽管预训练阶段完全没有动作监督,由此得到的轨迹条件策略仍取得了与使用动作监督预训练的 VLA 模型(如 π₀)相竞争的性能。作者据此认为,3D 轨迹是跨本体操作中一种可扩展且可迁移的表征。
论文于 2026 年 6 月 11 日 17:59:56 UTC 提交,全文约 5,247 KB,提供 PDF、实验性 HTML 与 TeX 源码,DOI 为 10.48550/arXiv.2606.13769(DataCite 注册待完成)。该工作为机器人世界模型提供了一条不依赖动作标签的预训练路径,其冻结复用与跨本体迁移特性对后续研究具有参考价值。