WorldMirror 是一個由 Tianling Xu、Yue Chen 等 12 位作者合作完成的智能體式真實到仿真(real-to-sim)框架,論文於 2026 年 10 月 22 日提交至 arXiv,編號 arXiv:2610.31834v1,歸類為機器人學(cs.RO),並涉及計算機視覺與模式識別(cs.CV)方向。其核心目標是從野外採集的真實機器人演示中,自動構建可交互的數字孿生世界,從而緩解仿真訓練中長期存在的人工搭建場景與任務指定成本過高的問題。
論文指出,現有機器人仿真學習方法通常需要大量人工來構建場景並明確任務定義,這直接限制了訓練規模的可擴展性與數據的多樣性。與此同時,野外機器人演示本身就藴含豐富、真實且多樣的交互觀測數據,是極具價值的仿真素材來源。但要把這些演示真正用於仿真,必須同時滿足兩個條件:高保真的視覺重建,以及物理一致的交互行為。
WorldMirror 的技術思路是融合兩類能力:通用智能體能夠靈活適應多樣場景,並對三維空間關係進行推理;而專用生成模型則負責高保真地重建場景的外觀與幾何。作者提出的中心思想,是把真實到仿真的構建過程形式化為對一個可執行“世界程序”的迭代精煉。具體而言,一個編碼智能體會拆解所觀測到的場景、規劃重建步驟,並編排專門的圖像與三維生成工具,再借助驗證反饋不斷修正該程序。
在場景表示上,WorldMirror 採用以相機位姿為錨點的組織方式,將世界劃分為靜態視覺上下文、支撐幾何以及可編輯的交互資產,同時保持場景、物體與機器人之間的空間關係。智能體正是利用這一表示來診斷並糾正重建誤差,從而支持物理一致的交互與軌跡回放。
在 DROID 數據集上的實驗表明,WorldMirror 能夠重建視覺上忠實、幾何上一致的交互式世界,並保持所記錄機器人軌跡的物理有效性。論文提供了 PDF、實驗性 HTML 以及 TeX 源碼等獲取方式,並附有音頻摘要;其 DOI 由 DataCite 發放,截至發佈時仍在註冊中。