微軟研究團隊近日提出了一種名為FlowDAgger的新方法，用於高效自適應預訓練的生成式機器人策略。該方法旨在解決現實部署中常見的分佈外失敗模式，這些失敗模式通常需要大規模數據收集或在線強化學習來彌補，但後者對快速和安全的自適應而言並不實際。FlowDAgger基於流匹配和擴散模型，通過人類干預在潛在空間中進行調整，無需大規模數據收集或在線強化學習。
其核心創新在於動作反演技術。具體而言，每個人類專家動作被映射為在凍結基礎策略下產生該動作的噪聲。這一過程通過反向時間積分和局部細化實現，所得倒置噪聲作為監督信號，訓練一個輕量級潛在策略。在部署時，該潛在策略引導基礎模型，實現快速技能獲取，同時保留行為先驗。
研究團隊在仿真環境和真實世界的雙機械臂及單臂操作任務中評估了FlowDAgger，自適應了動作頭視覺語言動作模型（VLA）和世界動作模型。實驗結果顯示，FlowDAgger在樣本效率和任務性能上顯著優於監督微調和潛在空間強化學習基線，且對保留任務上的預訓練技能無負面影響。
這項工作為機器人基礎模型的實際部署提供了一條實用路徑，使機器人能夠通過少量人類干預快速適應新任務，而無需昂貴的重新訓練。該論文由Michael Murray等十位作者共同完成，論文細節和演示可在項目網站（https://microsoft.github.io/FlowDAgger）查閲。