跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

WorldMirror:從野外機器人演示中智能生成可交互的仿真世界

文章摘要

WorldMirror 是一個智能體框架,可將野外機器人演示轉化為高保真、物理一致的可交互數字孿生,為機器人仿真學習提供可擴展的數據來源。

來源arXiv Robotics作者: Tianling Xu, Weijie Wan, Honghao Su, Kailun Su, Junyuan Tang, Huichi Zhou, Haozheng Zhang, Qi Xiong, Ping Luo, Wenbo Ding, Tianxing Chen, Yue Chen
WorldMirror:從野外機器人演示中智能生成可交互的仿真世界
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

WorldMirror 是一個由 Tianling Xu、Yue Chen 等 12 位作者合作完成的智能體式真實到仿真(real-to-sim)框架,論文於 2026 年 10 月 22 日提交至 arXiv,編號 arXiv:2610.31834v1,歸類為機器人學(cs.RO),並涉及計算機視覺與模式識別(cs.CV)方向。其核心目標是從野外採集的真實機器人演示中,自動構建可交互的數字孿生世界,從而緩解仿真訓練中長期存在的人工搭建場景與任務指定成本過高的問題。

論文指出,現有機器人仿真學習方法通常需要大量人工來構建場景並明確任務定義,這直接限制了訓練規模的可擴展性與數據的多樣性。與此同時,野外機器人演示本身就藴含豐富、真實且多樣的交互觀測數據,是極具價值的仿真素材來源。但要把這些演示真正用於仿真,必須同時滿足兩個條件:高保真的視覺重建,以及物理一致的交互行為。

WorldMirror 的技術思路是融合兩類能力:通用智能體能夠靈活適應多樣場景,並對三維空間關係進行推理;而專用生成模型則負責高保真地重建場景的外觀與幾何。作者提出的中心思想,是把真實到仿真的構建過程形式化為對一個可執行“世界程序”的迭代精煉。具體而言,一個編碼智能體會拆解所觀測到的場景、規劃重建步驟,並編排專門的圖像與三維生成工具,再借助驗證反饋不斷修正該程序。

在場景表示上,WorldMirror 採用以相機位姿為錨點的組織方式,將世界劃分為靜態視覺上下文、支撐幾何以及可編輯的交互資產,同時保持場景、物體與機器人之間的空間關係。智能體正是利用這一表示來診斷並糾正重建誤差,從而支持物理一致的交互與軌跡回放。

在 DROID 數據集上的實驗表明,WorldMirror 能夠重建視覺上忠實、幾何上一致的交互式世界,並保持所記錄機器人軌跡的物理有效性。論文提供了 PDF、實驗性 HTML 以及 TeX 源碼等獲取方式,並附有音頻摘要;其 DOI 由 DataCite 發放,截至發佈時仍在註冊中。

展開要點與分析

文章情報

工程師中級

要點

  • 將真實到仿真的構建過程表述為可執行世界程序的迭代精化
  • 編碼智能體規劃重建步驟並調用圖像與3D生成工具
  • 相機位姿錨定的場景表示保持場景、物體與機器人的空間關係
  • 在 DROID 數據集上驗證了視覺保真、幾何一致與軌跡物理有效性

技術影響

可能影響 Agent 架構、工具調用、工作流自動化和產品集成。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。