ロボット学習では、シミュレーション環境を活用してポリシーを大規模に訓練する手法が一般的だが、既存のアプローチではシーンの構築やタスクの指定に多大な手作業が必要となり、訓練のスケーラビリティやデータの多様性が制限されてきた。一方、野外で収集されたロボット実演は、実世界のインタラクションに関する多様でリアルな観測を自然に提供する。これらの実演をシミュレーションに活用するには、高忠実度の視覚再構築と物理的に整合したインタラクションの両方が求められる。
この課題に対し、論文はWorldMirrorと呼ぶエージェント型Real-to-Simフレームワークを提案する。これは野外ロボット実演から対話型デジタルツインを構築するもので、中心となるアイデアは、Real-to-Sim構築を実行可能な「ワールドプログラム」の反復的精緻化として定式化することにある。単一の静的シーンを生成するのではなく、コーディングエージェントが観測シーンを分解し、再構築手順を計画し、専用の画像生成・3D生成ツールを統括する。エージェントは検証フィードバックを通じてプログラムを改良し、再構築エラーを段階的に修正する。
シーン情報を整理するため、WorldMirrorはカメラポーズを基準としたシーン表現を採用する。これはワールドを静的視覚コンテキスト、支持幾何、編集可能なインタラクティブアセットに分割しつつ、シーン・物体・ロボット間の空間関係を保持する。この表現を用いてエージェントは再構築誤差を診断・修正し、物理的に整合したインタラクションと軌道再生を可能にする。
DROIDデータセットでの実験により、WorldMirrorは視覚的に忠実で幾何的に整合した対話型ワールドを再構築し、記録されたロボット軌道の物理的妥当性を保つことが示された。本研究は、汎用エージェントによる3D空間関係の推論と多様なシーンへの適応力、および専用生成モデルによる外観・幾何の高忠実度再構築を組み合わせ、野外実演データからロボットシミュレーション環境をスケーラブルに構築する新たな方向性を提示している。