Microsoftの研究チームは、事前訓練された生成ロボットポリシーを現実の分布外の失敗モードに適応させるための新手法FlowDAggerを提案しました。この手法はフローマッチングと拡散モデルに基づいており、潜在空間での人間の介入により、大規模なデータ収集やオンライン強化学習を不要にします。
中心的な革新はアクション反転です。各人間専門家の行動は、凍結されたベースポリシーの下でその行動を生成するであろうノイズにマッピングされます。このプロセスは逆時間積分と局所的な洗練により行われ、得られた反転ノイズは軽量な潜在ポリシーの教師信号となります。展開時には、この潜在ポリシーがベースモデルを誘導し、行動事前分布を保持しつつ迅速なスキル獲得を可能にします。
研究チームはシミュレーション環境と実世界の両腕・片腕操作タスクでFlowDAggerを評価し、アクションヘッドVLAおよび世界行動モデルを少数の介入から適応させました。結果は、FlowDAggerが教師ありファインチューニングや潜在空間強化学習ベースラインをサンプル効率とタスク性能で大幅に上回り、保持タスクでの事前訓練スキルに悪影響を与えないことを示しました。
本研究は、ロボット基礎モデルの実用的な適応経路を提供し、ロボットが高価な再訓練なしに少数の人間介入で新タスクに迅速に適応することを可能にします。論文の詳細とデモはプロジェクトサイト（https://microsoft.github.io/FlowDAgger）で公開されています。