强化学习（RL）已成为训练大语言模型（LLM）智能体的关键方法，但GRPO/RLOO等流行方法依赖于独立采样多条完整轨迹进行优势估计。在长周期智能体任务中，这种均匀展开策略可能将预算浪费在无信息的死胡同尝试上，而有前途的中间状态却得不到充分探索。由于智能体轨迹具有多轮结构（动作与观察交替出现），自然可将一组轨迹组织成树形，每一轮充当探索的决策点。这种视角将有效探索问题重新定义为决定在何处分支的问题。
为此，研究者提出了过程评分器引导的自适应树展开（PATR）——一种用于多轮智能体RL的质量感知展开框架。PATR利用任务合适的过程反馈来评分部分轨迹，从有前途的状态选择性分支，重用共享前缀，并保守地停止退化路径以减少抽样浪费。具体而言，PATR使用一个过程评分器（例如基于规则或学习到的模型）为每个部分轨迹分配一个分数，然后根据分数决定是否从该状态继续展开或停止。共享前缀意味着多个分支可以共享已经执行过的相同动作序列，从而避免重复计算。退化路径的停止机制则防止了在无效方向上继续浪费资源。得到的展开组仍可与标准策略优化（如PPO或GRPO）兼容，同时在相同训练预算下提供更高效的探索。
研究者在FrozenLake和极具挑战性的SWE-Bench上评估了PATR。FrozenLake是一个经典的网格世界导航任务，而SWE-Bench是一个基于真实GitHub问题的软件工程基准，之前很少有树展开智能体RL方法涉足。实验表明，PATR在SWE-Bench上性能提升高达5.0个百分点，在FrozenLake上提升9.3个百分点，凸显了过程引导的树展开作为可扩展多轮RL的有效策略。这项工作为智能体训练的样本效率提升开辟了新方向，有望在更复杂的现实任务中得到应用。