WorldMirror 是一個由 Tianling Xu、Yue Chen 等 12 位作者合作完成的智慧體式真實到模擬(real-to-sim)框架,論文於 2026 年 10 月 22 日提交至 arXiv,編號 arXiv:2610.31834v1,歸類為機器人學(cs.RO),並涉及計算機視覺與模式識別(cs.CV)方向。其核心目標是從野外採集的真實機器人演示中,自動構建可互動的數字孿生世界,從而緩解模擬訓練中長期存在的人工搭建場景與任務指定成本過高的問題。
論文指出,現有機器人模擬學習方法通常需要大量人工來構建場景並明確任務定義,這直接限制了訓練規模的可擴充套件性與資料的多樣性。與此同時,野外機器人演示本身就蘊含豐富、真實且多樣的互動觀測資料,是極具價值的模擬素材來源。但要把這些演示真正用於模擬,必須同時滿足兩個條件:高保真的視覺重建,以及物理一致的互動行為。
WorldMirror 的技術思路是融合兩類能力:通用智慧體能夠靈活適應多樣場景,並對三維空間關係進行推理;而專用生成模型則負責高保真地重建場景的外觀與幾何。作者提出的中心思想,是把真實到模擬的構建過程形式化為對一個可執行“世界程式”的迭代精煉。具體而言,一個編碼智慧體會拆解所觀測到的場景、規劃重建步驟,並編排專門的影像與三維生成工具,再借助驗證反饋不斷修正該程式。
在場景表示上,WorldMirror 採用以相機位姿為錨點的組織方式,將世界劃分為靜態視覺上下文、支撐幾何以及可編輯的互動資產,同時保持場景、物體與機器人之間的空間關係。智慧體正是利用這一表示來診斷並糾正重建誤差,從而支援物理一致的互動與軌跡回放。
在 DROID 資料集上的實驗表明,WorldMirror 能夠重建視覺上忠實、幾何上一致的互動式世界,並保持所記錄機器人軌跡的物理有效性。論文提供了 PDF、實驗性 HTML 以及 TeX 原始碼等獲取方式,並附有音訊摘要;其 DOI 由 DataCite 發放,截至釋出時仍在註冊中。