ロボット学習とポリシー評価の分野では、実世界のシーンをインタラクティブなシミュレーション環境として復元することが重要です。これにより、汎用的なロボット学習と再現可能なポリシー評価が可能になります。しかし、物理的に安定で視覚的に忠実なシーンを構築するには、多大な時間とコストがかかります。本研究では、単一のRGB画像から即座にシミュレーション可能なシーンを生成するフレームワーク「RoboSnap」を提案します。
RoboSnapの核となるのは階層型設計です。物理的に重要な相互作用領域と周囲の視覚コンテキストを分離し、前景には衝突認識可能なアセットを生成してロボットの安定したインタラクションを実現します。一方、背景には3Dガウシアンスプラッティングを採用し、新規視点でも忠実な外観を保ちます。この設計により、物理精度と視覚品質のバランスを最適化し、従来の手法では困難だった両立を可能にしました。
研究チームはDROIDシーンと実ロボットタスクを用いた実験を実施しました。結果、RoboSnapは復元されたシーンで信頼性の高い軌跡再現を実現し、タスク特化型合成データ生成をサポートし、ポリシー評価において有意義なシミュレーション-実機間の相関をもたらすことを確認しました。これらの結果は、実機からシミュレーションへの手法の価値が、単に高忠実度な視覚再構成だけでなく、実環境をロボット学習と評価のための再利用可能なインフラに変える点にあることを示しています。
さらに、研究を促進するために、DROIDから選定された564の実世界シーンからなるDROID-Simデータセットを公開しました。各シーンは物理的安定性と視覚的忠実性が確保されており、ベンチマークとして利用できます。RoboSnapの論文はarXiv（2607.06699）に掲載され、プロジェクトページも公開されています。論文は24ページ、16の図表を含み、フレームワークの設計、実装、実験結果を体系的に説明しています。この研究は、ロボット学習の実世界応用を加速し、汎用ロボットシステムの開発に貢献することが期待されます。