FlowDAgger：潜在空间中生成式机器人策略的人机协同自适应方法
FlowDAgger是一种样本和计算高效的方法，通过人类干预在潜在空间中自适应冻结的生成式机器人策略。其核心思想是动作反演，将人类专家动作映射为在基础策略下产生该动作的噪声，然后训练轻量级潜在策略来引导基础模型。该方法在仿真和真实双机械臂及单臂操作任务中均优于监督微调和潜在空间强化学习基线，并能保留预训练技能。
来源arXiv Robotics作者: Michael Murray, Daphne Chen, Simran Bagaria, Dean Fortier, Tess Hellebrekers, Galen Mullins, Harshavardhan Gajarla, Oier Mees, Maya Cakmak, Andrey Kolobov
微软研究团队近日提出了一种名为FlowDAgger的新方法，用于高效自适应预训练的生成式机器人策略。该方法旨在解决现实部署中常见的分布外失败模式，这些失败模式通常需要大规模数据收集或在线强化学习来弥补，但后者对快速和安全的自适应而言并不实际。FlowDAgger基于流匹配和扩散模型，通过人类干预在潜在空间中进行调整，无需大规模数据收集或在线强化学习。
其核心创新在于动作反演技术。具体而言，每个人类专家动作被映射为在冻结基础策略下产生该动作的噪声。这一过程通过反向时间积分和局部细化实现，所得倒置噪声作为监督信号，训练一个轻量级潜在策略。在部署时，该潜在策略引导基础模型，实现快速技能获取，同时保留行为先验。
研究团队在仿真环境和真实世界的双机械臂及单臂操作任务中评估了FlowDAgger，自适应了动作头视觉语言动作模型（VLA）和世界动作模型。实验结果显示，FlowDAgger在样本效率和任务性能上显著优于监督微调和潜在空间强化学习基线，且对保留任务上的预训练技能无负面影响。
这项工作为机器人基础模型的实际部署提供了一条实用路径，使机器人能够通过少量人类干预快速适应新任务，而无需昂贵的重新训练。该论文由Michael Murray等十位作者共同完成，论文细节和演示可在项目网站（https://microsoft.github.io/FlowDAgger）查阅。