近年、ロボット学習における世界モデルは、視覚観測と行動から将来の状態を予測することで、エージェントが制御の結果を推論できるようにする重要な役割を果たしています。しかし、多くの行動条件付きモデルは、運動が即時制御によって支配される設定で評価されることが多く、現実世界の物体(水上車両など)は慣性によって動き続け、水流や風などの隠れた環境ドリフトによって変位します。この不一致により、実世界での性能が制限されています。
この課題に取り組むため、Yitao Jiang 氏らは FlowMo-WM を提案しました。これはエンドツーエンドで訓練可能な視覚世界モデルであり、流れ場の直接的な監督なしに、画像と行動の履歴から物体中心の運動状態と隠れたドリフトに関連する予測的な長期文脈を推論します。FlowMo-WM の核心は、画像行動履歴を二つの部分に分解することです:短履歴潜在状態(物体中心の運動を要約するよう訓練)と長履歴文脈(ゆっくり変化する外因性の影響を要約するよう訓練)です。さらに、ゼロ文脈残差遷移メカニズムを導入し、潜在ロールアウト中に行動条件付きの基本ダイナミクスと文脈依存のドリフト効果を分離します。これにより、モデルは長期の進化をより正確に予測できます。
モデルの有効性を検証するため、研究チームは多様な隠れた水流、外乱、ランダム化された車両ダイナミクスを含む模擬水上車両環境で実験を行いました。結果は、FlowMo-WM が代表的な行動条件付き潜在世界モデル(例えば、変分オートエンコーダに基づく手法)よりも長期的なロールアウト精度を大幅に向上させることを示しました。さらに、予測時の文脈アブレーション実験(推論された文脈をロールアウト中にゼロまたはシャッフルする)により、環境文脈が隠れたドリフト下での安定した予測に重要であることが確認されました。また、凍結線形プローブを用いた分析により、学習された分解因子にエンコードされた情報の特性が明らかにされました。例えば、短履歴潜在状態は主に物体速度を符号化し、長履歴文脈は水流方向などを符号化しています。
FlowMo-WM の提案は、ロボット学習における世界モデルに新たな視点を提供し、特に慣性運動や不可視の環境要因を扱う際に重要な可能性を秘めています。本研究成果は arXiv(ID: 2606.13817)に投稿され、関連学会での発表が予定されています。研究チームはコードとシミュレーション環境も公開しており、他の研究者が成果を再現・拡張できるようにしています。