跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

WorldMirror:从野外机器人演示中智能生成可交互的仿真世界

文章摘要

WorldMirror 是一个智能体框架,可将野外机器人演示转化为高保真、物理一致的可交互数字孪生,为机器人仿真学习提供可扩展的数据来源。

来源arXiv Robotics作者: Tianling Xu, Weijie Wan, Honghao Su, Kailun Su, Junyuan Tang, Huichi Zhou, Haozheng Zhang, Qi Xiong, Ping Luo, Wenbo Ding, Tianxing Chen, Yue Chen
WorldMirror:从野外机器人演示中智能生成可交互的仿真世界
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

WorldMirror 是一个由 Tianling Xu、Yue Chen 等 12 位作者合作完成的智能体式真实到仿真(real-to-sim)框架,论文于 2026 年 10 月 22 日提交至 arXiv,编号 arXiv:2610.31834v1,归类为机器人学(cs.RO),并涉及计算机视觉与模式识别(cs.CV)方向。其核心目标是从野外采集的真实机器人演示中,自动构建可交互的数字孪生世界,从而缓解仿真训练中长期存在的人工搭建场景与任务指定成本过高的问题。

论文指出,现有机器人仿真学习方法通常需要大量人工来构建场景并明确任务定义,这直接限制了训练规模的可扩展性与数据的多样性。与此同时,野外机器人演示本身就蕴含丰富、真实且多样的交互观测数据,是极具价值的仿真素材来源。但要把这些演示真正用于仿真,必须同时满足两个条件:高保真的视觉重建,以及物理一致的交互行为。

WorldMirror 的技术思路是融合两类能力:通用智能体能够灵活适应多样场景,并对三维空间关系进行推理;而专用生成模型则负责高保真地重建场景的外观与几何。作者提出的中心思想,是把真实到仿真的构建过程形式化为对一个可执行“世界程序”的迭代精炼。具体而言,一个编码智能体会拆解所观测到的场景、规划重建步骤,并编排专门的图像与三维生成工具,再借助验证反馈不断修正该程序。

在场景表示上,WorldMirror 采用以相机位姿为锚点的组织方式,将世界划分为静态视觉上下文、支撑几何以及可编辑的交互资产,同时保持场景、物体与机器人之间的空间关系。智能体正是利用这一表示来诊断并纠正重建误差,从而支持物理一致的交互与轨迹回放。

在 DROID 数据集上的实验表明,WorldMirror 能够重建视觉上忠实、几何上一致的交互式世界,并保持所记录机器人轨迹的物理有效性。论文提供了 PDF、实验性 HTML 以及 TeX 源码等获取方式,并附有音频摘要;其 DOI 由 DataCite 发放,截至发布时仍在注册中。

展开要点与分析

文章情报

工程师中级

要点

  • 将真实到仿真的构建过程表述为可执行世界程序的迭代精化
  • 编码智能体规划重建步骤并调用图像与3D生成工具
  • 相机位姿锚定的场景表示保持场景、物体与机器人的空间关系
  • 在 DROID 数据集上验证了视觉保真、几何一致与轨迹物理有效性

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。