移動操作ロボットは、目標到達、衝突回避、ベースの運動学的制約、マニピュレータの関節限界、軌道の滑らかさを同時に満たす全身動作チャンクを生成する必要がある。フローモデルに基づく生成ポリシーは、専門家のデモンストレーションから多モーダルで時間的に一貫した運動事前分布を学習する効率的なパラダイムを提供するが、模倣学習のみではデモ分布を超えるポリシー改善は不可能である。そこで、中国の研究チーム(Shuhang Wangら)は、専門家フローポリシーの事前学習と潜在空間強化学習の事後学習を組み合わせたRLMM-Flowフレームワークを提案した。
このフレームワークはまず、フローモデルを用いて多モーダルな全身運動事前分布を学習する。事前学習後、フローポリシーは凍結され、潜在誘導ネットワークが初期ノイズをより価値の高い行動チャンクへと導く。高次元潜在最適化を安定化するため、行動空間の批評家(critic)をウォームアップした後、潜在批評家と潜在アクターを共同訓練し、水平共有潜在表現から全次元残差表現へと段階的に制御を拡大する粗密潜在誘導(coarse-to-fine latent steering)を導入する。この粗密アプローチにより、制御の粒度が徐々に細かくなり、高次元最適化の不安定性が軽減される。
複数の移動操作運動計画ベンチマークでの実験により、RLMM-Flowは、模倣学習のみのフローポリシーや既存の強化学習事後学習ベースラインと比較して、タスク成功率、衝突回避、軌道品質を大幅に向上させた。例えば、動的障害物を避けるタスクでは成功率が約20%向上し、生成された軌道はより滑らかで運動学的制約を満たしていた。また、高速なフローベース推論を維持しており、リアルタイム応用が可能である。本論文は2026年7月29日にarXivに提出され、移動操作にフローモデルと潜在空間強化学習を初めて統合した研究として、ロボット分野に効率的かつスケーラブルな解決策を提供する。家庭や倉庫などの複雑な環境での自律操作の進展が期待される。