力量永不嫌晚: 利用反应式力注入加速VLA后训练
本文提出LIFT框架，通过在预训练视觉-语言-动作（VLA）策略后训练中注入反应式力，解决接触场景下纯视觉方法失败的问题。LIFT嫁接反应式动作专家，利用因果力记忆和零初始化交叉注意力注入6D力，并结合在线DAgger循环应对分布偏移。在毛巾折叠、书籍插入和汉诺塔放置任务中，LIFT相比纯视觉后训练学习更快、性能更高。
近年来，视觉-语言-动作（VLA）策略在机器人操作领域取得了显著进展，能够通过语言指令执行复杂的操作任务。然而，这些策略主要依赖视觉信息，在处理接触状态时面临重大挑战。当机器人进入接触场景时，视场可能被遮挡，深度信息变得模糊，或者微小的力误差可能导致执行偏离离线演示的分布。为了解决这个问题，来自多所机构的研究人员提出了一种名为LIFT（Late Reactive Injection of Force for VLA Post-Training）的新型后训练框架。
LIFT的核心思想是在预训练的VLA策略上添加接触反应能力，同时保留其通用的操作知识。该框架通过在原始动作专家旁嫁接一个反应式动作专家，并使用预训练的动作权重进行初始化，来实现这一目标。为了将力反馈融入决策过程，LIFT引入了因果力记忆和零初始化的交叉注意力机制，从而将最近的6D末端执行器力信息注入到策略中，使动作能够根据实时力反馈进行刷新。
由于接触反馈会引起策略依赖的分布偏移，LIFT进一步将反应式力注入与在线DAgger循环相结合。该循环在离线任务对齐数据和人工纠正的在线rollout的混合数据上进行训练，从而有效地应对了分布偏移问题。这种方法确保了策略能够在实际接触中不断适应和改进。
在毛巾折叠、书籍插入和汉诺塔放置三个接触密集的任务上，研究团队对LIFT进行了评估。实验结果显示，与纯视觉后训练相比，LIFT学习速度更快，并达到了更高的性能。消融研究进一步表明，反应式力记忆和在线纠正数据对于实现鲁棒的接触丰富操作都至关重要。代码和数据将公开发布，为机器人操作领域的研究提供了新的工具和方向。