跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

μ₀:可扩展的3D交互轨迹世界模型

文章摘要

μ₀ 是一种基于3D轨迹的世界模型,通过预测物体、工具、手和接触区域等显著交互点的平滑3D轨迹,为机器人学习提供与具体 embodiment 无关的紧凑运动接口。其配套的 TraceExtract 系统能自动从多样视频中提取3D监督信号,无需动作标签即可预训练。实验表明,μ₀ 在2D和3D轨迹预测上优于基线,且与动作专家结合后,下游策略性能与使用动作监督预训练的VLA模型(如π₀)相当。

来源arXiv Robotics作者: Seungjae Lee, Yoonkyo Jung, Jusuk Lee, Jonghun Shin, Amir Hossein Shahidzadeh, Yao-Chih Lee, H. Jin Kim, Jia-Bin Huang, Furong Huang
μ₀:可扩展的3D交互轨迹世界模型
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于 2026 年 6 月 11 日发布了一篇题为《μ₀:可扩展的 3D 交互轨迹世界模型》的新论文(编号 arXiv:2606.13769v1),作者为 Seungjae Lee 等共九人,隶属机器人学(cs.RO)方向,同时涉及计算机视觉(cs.CV)与机器学习(cs.LG)。论文提出一种以 3D 轨迹为核心的世界模型 μ₀,试图解决机器人学习中对特定本体动作标签的依赖问题。

研究背景方面,作者指出,能够刻画“动作如何引发物理变化”的世界模型,可以让机器人学习不再依赖与具体本体绑定的动作标签,从而具备可扩展性。现有路线各有取舍:像素空间的视频模型虽然提供了广泛的视觉先验,却把大量模型容量消耗在稠密外观重建上;直接动作模型则需要本体特定的标签,难以扩展到多种机器人平台。μ₀ 的选择是绕开稠密像素与直接动作建模,转而预测物体、工具、手部以及接触区域等显著交互点的平滑 3D 轨迹,从而形成一种紧凑且与本体无关的运动接口。

为支持从多样视频源训练,作者设计了 TraceExtract 系统,自动提取 3D 监督信号:先选取关键点,再构建全局对齐的轨迹,并把运动片段与分层语言描述关联起来。借助这一监督,μ₀ 的预训练将预训练的视觉-语言骨干网络与一个模块化的轨迹专家相结合,后者用 B 样条控制点表示每个查询并预测未来轨迹。

实验结果显示,μ₀ 在 2D 与 3D 轨迹预测任务上均优于基线,包括已有的轨迹预测模型和采用 token 化的视觉-语言模型方法。由于 μ₀ 在预训练后可冻结并复用,它可以与动作专家配对,适配下游的不同机器人本体。值得注意的是,尽管预训练阶段完全没有动作监督,由此得到的轨迹条件策略仍取得了与使用动作监督预训练的 VLA 模型(如 π₀)相竞争的性能。作者据此认为,3D 轨迹是跨本体操作中一种可扩展且可迁移的表征。

论文于 2026 年 6 月 11 日 17:59:56 UTC 提交,全文约 5,247 KB,提供 PDF、实验性 HTML 与 TeX 源码,DOI 为 10.48550/arXiv.2606.13769(DataCite 注册待完成)。该工作为机器人世界模型提供了一条不依赖动作标签的预训练路径,其冻结复用与跨本体迁移特性对后续研究具有参考价值。

展开要点与分析

文章情报

工程师进阶

要点

  • μ₀ 预测显著交互点的3D轨迹而非稠密像素或直接动作,形成紧凑、与 embodiment 无关的接口。
  • TraceExtract 自动从视频中提取3D监督,包括关键点选择、全局对齐轨迹构建和分层语言描述关联。
  • μ₀ 可冻结复用,与动作专家配对后,即使无动作预训练,下游策略性能仍与π₀等VLA模型竞争。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。