GROW：将 GRPO 与状态-动作建模对齐，面向开放世界 VLM 智能体的强化学习新框架
2026 年 5 月 18 日，一篇题为《GROW: Aligning GRPO with State-Action Modeling for Open-World VLM Agents》的论文提交至 arXiv（编号 arXiv:2605.20246v1），作者为 Xiongbin Wu 等共 10 人，隶属于机器学习（cs.LG）与人工智能（cs.AI）交叉领域。该研究聚焦于视觉语言模型（VLM）智能体在开放世界任务中的强化学习训练难题，提出了一种名为 GROW 的新框架，并在超过 800 个 Minecraft 任务上取得了当前最优（SOTA）性能。
近年来，VLM 智能体在开放世界任务中展现出令人瞩目的进展。这类任务通常要求智能体通过多轮视觉感知与动作执行来逐步完成目标，例如在 Minecraft 中采集资源、建造结构或探索环境。然而，现有方法仍主要依赖基于专家演示的监督微调（SFT）。虽然 SFT 能够模仿专家行为，但它难以让智能体在复杂环境中通过试错进行自主优化。强化学习（RL）本应是提升多轮决策能力的自然选择，但先进的 RL 算法——特别是分组相对策略优化（Group Relative Policy Optimization，GRPO）——尚未在这类任务的多轮 RL 训练中得到有效应用。
标准 GRPO 的核心问题在于，它要求将完整轨迹作为训练样本。在开放世界多轮任务中，一条完整轨迹可能包含数十甚至上百个视觉观察与动作步骤，导致上下文长度急剧膨胀；同时，轨迹中大量与任务无关的视觉信息会引入显著噪声，使得优势估计变得不稳定，训练效率低下。此外，不同轨迹的长度和内容差异巨大，直接以整条轨迹为单位进行分组比较，难以捕捉细粒度的决策优劣。
针对这一瓶颈，GROW 框架提出将收集到的轨迹分解为“状态-动作”样本对，并在这些样本之间计算优势，而不是将整条轨迹视为单一实体。具体而言，智能体在每一步观察到的局部状态（包含视觉输入）与所执行的动作构成一个样本；GROW 在这些局部样本层面进行分组与相对比较，从而避免了对超长完整轨迹的依赖。这样一来，训练上下文被显著缩短，噪声也被有效抑制，同时保留了 GRPO 基于组内相对比较来优化策略的核心机制。
作者进一步提供了替代目标分析（surrogate analysis），以论证该做法的理论合理性。分析表明，尽管分组后的样本各自以不同的局部状态为条件，而非共享完全相同的提示上下文，但在一些简化假设下，GROW 的目标函数仍能保留 GRPO 的核心相对策略优化信号。换言之，将轨迹拆解为状态-动作样本并未破坏 GRPO 的相对优势估计本质，反而使训练信号更加聚焦于每一步决策的局部优劣。这一分析为 GROW 的实证有效性提供了理论支撑，也解释了为何在局部状态条件下进行组内比较仍然可行。
实验部分，研究团队在超过 800 个 Minecraft 任务上对 GROW 进行了评估。Minecraft 作为典型的开放世界环境，要求智能体具备多轮视觉感知、长期规划与动作执行能力，是检验 VLM 智能体多轮 RL 训练的理想测试平台。实验结果显示，GROW 取得了当前最优（SOTA）性能，验证了所提出的 RL 框架在开放世界 VLM 智能体训练中的有效性。这一结果不仅表明状态-动作级别的 GRPO 训练能够克服完整轨迹带来的上下文与噪声问题，也展示了强化学习在复杂多轮视觉决策任务中的巨大潜力。
该论文的提交时间为 2026 年 5 月 18 日（周一）04:56:59 UTC，全文约 11,937 KB，可通过 arXiv 获取 PDF、实验性 HTML 版本及 TeX 源码。论文被归类为机器学习（cs.LG）与人工智能（cs.AI），并提供了 DOI（10.48550/arXiv.2605.20246）以便引用。总体而言，GROW 为开放世界 VLM 智能体的多轮强化学习提供了一种可扩展的训练范式，其核心思想——将轨迹分解为状态-动作样本并在此层面应用 GRPO——有望推广至更广泛的具身智能与多模态决策任务。