跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

WorldMirror:從野外機器人演示中智慧生成可互動的模擬世界

文章摘要

WorldMirror 是一個智慧體框架,可將野外機器人演示轉化為高保真、物理一致的可互動數字孿生,為機器人模擬學習提供可擴充套件的資料來源。

來源arXiv Robotics作者: Tianling Xu, Weijie Wan, Honghao Su, Kailun Su, Junyuan Tang, Huichi Zhou, Haozheng Zhang, Qi Xiong, Ping Luo, Wenbo Ding, Tianxing Chen, Yue Chen
WorldMirror:從野外機器人演示中智慧生成可互動的模擬世界
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

WorldMirror 是一個由 Tianling Xu、Yue Chen 等 12 位作者合作完成的智慧體式真實到模擬(real-to-sim)框架,論文於 2026 年 10 月 22 日提交至 arXiv,編號 arXiv:2610.31834v1,歸類為機器人學(cs.RO),並涉及計算機視覺與模式識別(cs.CV)方向。其核心目標是從野外採集的真實機器人演示中,自動構建可互動的數字孿生世界,從而緩解模擬訓練中長期存在的人工搭建場景與任務指定成本過高的問題。

論文指出,現有機器人模擬學習方法通常需要大量人工來構建場景並明確任務定義,這直接限制了訓練規模的可擴充套件性與資料的多樣性。與此同時,野外機器人演示本身就蘊含豐富、真實且多樣的互動觀測資料,是極具價值的模擬素材來源。但要把這些演示真正用於模擬,必須同時滿足兩個條件:高保真的視覺重建,以及物理一致的互動行為。

WorldMirror 的技術思路是融合兩類能力:通用智慧體能夠靈活適應多樣場景,並對三維空間關係進行推理;而專用生成模型則負責高保真地重建場景的外觀與幾何。作者提出的中心思想,是把真實到模擬的構建過程形式化為對一個可執行“世界程式”的迭代精煉。具體而言,一個編碼智慧體會拆解所觀測到的場景、規劃重建步驟,並編排專門的影像與三維生成工具,再借助驗證反饋不斷修正該程式。

在場景表示上,WorldMirror 採用以相機位姿為錨點的組織方式,將世界劃分為靜態視覺上下文、支撐幾何以及可編輯的互動資產,同時保持場景、物體與機器人之間的空間關係。智慧體正是利用這一表示來診斷並糾正重建誤差,從而支援物理一致的互動與軌跡回放。

在 DROID 資料集上的實驗表明,WorldMirror 能夠重建視覺上忠實、幾何上一致的互動式世界,並保持所記錄機器人軌跡的物理有效性。論文提供了 PDF、實驗性 HTML 以及 TeX 原始碼等獲取方式,並附有音訊摘要;其 DOI 由 DataCite 發放,截至釋出時仍在註冊中。

展開要點與分析

文章情報

工程師中級

要點

  • 將真實到模擬的構建過程表述為可執行世界程式的迭代精化
  • 編碼智慧體規劃重建步驟並呼叫影像與3D生成工具
  • 相機位姿錨定的場景表示保持場景、物體與機器人的空間關係
  • 在 DROID 資料集上驗證了視覺保真、幾何一致與軌跡物理有效性

技術影響

可能影響 Agent 架構、工具呼叫、工作流自動化和產品整合。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。