微軟研究團隊近日提出了一種名為FlowDAgger的新方法，用於高效自適應預訓練的生成式機器人策略。該方法旨在解決現實部署中常見的分佈外失敗模式，這些失敗模式通常需要大規模資料收集或線上強化學習來彌補，但後者對快速和安全的自適應而言並不實際。FlowDAgger基於流匹配和擴散模型，透過人類干預在潛在空間中進行調整，無需大規模資料收集或線上強化學習。
其核心創新在於動作反演技術。具體而言，每個人類專家動作被對映為在凍結基礎策略下產生該動作的噪聲。這一過程透過反向時間積分和區域性細化實現，所得倒置噪聲作為監督訊號，訓練一個輕量級潛在策略。在部署時，該潛在策略引導基礎模型，實現快速技能獲取，同時保留行為先驗。
研究團隊在模擬環境和真實世界的雙機械臂及單臂操作任務中評估了FlowDAgger，自適應了動作頭視覺語言動作模型（VLA）和世界動作模型。實驗結果顯示，FlowDAgger在樣本效率和任務效能上顯著優於監督微調和潛在空間強化學習基線，且對保留任務上的預訓練技能無負面影響。
這項工作為機器人基礎模型的實際部署提供了一條實用路徑，使機器人能夠透過少量人類干預快速適應新任務，而無需昂貴的重新訓練。該論文由Michael Murray等十位作者共同完成，論文細節和演示可在專案網站（https://microsoft.github.io/FlowDAgger）查閱。