一つのデモで世界を：オープンワールドモバイル操作を学ぶための合成データエンジン

オープンワールドモバイル操作ポリシーの学習には、空間的一般化、長期的ロバスト性、シーン一般化を達成するために膨大なデータが必要です。しかし、主流の遠隔操作やUMI（汎用操作インターフェース）によるデータ収集は、大規模化する際に莫大な人的労力とコストを要します。この制限を超えるため、研究者は各人間デモの価値を最大化するスケーラブルなデータ生成を模索しています。

研究チームのLingxiao Guoらは、単一のデモから合成データを生成するエンジンWANDA（World mobile mAnipulation from one Demonstration via synthetic dAta engine）を提案しました。WANDAはまず、ソースRGBD観測から背景のガウススプラッティングとロボット-物体相互作用軌跡を再構築し、後の計画とレンダリングのための世界基盤とします。次に、接触の多いロボット-物体相互作用セグメントを広範な空間配置に再配置し、全身動作計画を用いて新しい軌跡に連鎖させます。

長期的ロバスト性を高めるため、修正状態拡張（Corrective State Expansion）を適用し、モバイル操作の異なる段階でのロボットと物体の状態多様性を増加させます。環境横断的一般化を実現するために、日常写真から生成された多様な3D世界で軌跡を合成します。さらに、レンダリングされたロボットと物体メッシュをガウススプラッティング背景と合成することで、写真リアリスティックな観測を生成します。

広範なシミュレーションおよび実世界タスクでの実験により、WANDAで訓練されたポリシーが単一の実デモから長期的ロバスト性、広範な空間的一般化、環境横断的一般化を達成することが示されました。さらに、WANDAは自然に異なる身体性へのデータ生成をサポートし、別の形態のモバイルマニピュレータでのゼロショット展開によって検証されました。この研究は、ロボット学習におけるデータ不足問題に対する効率的な解決策を提供し、オープンワールドモバイル操作の実用化を促進することが期待されます。