DREAMSTEER：潜在世界模型可在部署期间引导VLA策略，无需任何微调
DREAMSTEER是一种无需微调即可在部署时引导预训练视觉-语言-动作（VLA）策略的框架。它利用潜在世界模型和价值模型，通过采样候选动作块、想象其结果并排序，显著提升了任务成功率和指令遵循准确率。
预训练的视觉-语言-动作（VLA）策略在零样本泛化方面表现出色，但部署时的分布偏移常常导致其鲁棒性下降和指令遵循不一致。此前的工作通常通过在分布内数据上进行微调来解决这一问题，但这需要假设已在目标环境中收集了任务演示。然而，在许多实际场景中，收集此类演示成本高昂且不切实际。
针对这一挑战，来自多所机构的研究人员提出了DREAMSTEER框架，该框架无需任何微调或参数修改，即可在部署时引导预训练的VLA策略。其核心思想是引入一个潜在世界模型和一个价值模型来共同指导策略的决策过程。具体而言，DREAMSTEER首先从VLA策略和预定义的原始动作中采样多个候选动作块，然后利用动作条件潜在世界模型来想象执行这些动作后的未来状态和结果，最后通过一个语言条件价值模型对这些想象轨迹进行评估和排序，从而选择最优的动作序列。
实验部分，研究团队在四个涉及未见物体的真实世界操作基准测试中评估了DREAMSTEER的性能。结果显示，与基础VLA策略相比，DREAMSTEER将任务成功率从23.75%大幅提升至66.25%，同时指令遵循准确率也从38.75%提高到56.25%。这些结果充分证明了DREAMSTEER在无需微调的情况下显著增强VLA策略部署鲁棒性的能力。
值得注意的是，DREAMSTEER的潜在世界模型和价值模型均在离线数据集上预先训练完成，因此在部署时无需任何额外的数据收集或模型更新。这一特性使得DREAMSTEER成为一种低成本、高效益的解决方案，有望广泛应用于机器人操控、人机交互等需要精准指令遵循的领域。