分支策略优化：面向沙盒的原生语言智能体强化学习
提出分支策略优化（BPO），利用沙盒的确定性、可快照和可恢复特性，通过共享前缀的树形 rollout 拓扑降低策略梯度方差，在多个基准上较 GRPO 和 RLOO 提升 3.6-6.1 个绝对百分点。
强化学习已成为训练与可执行沙盒交互的大型语言模型（LLM）智能体的主流范式。当前最先进的算法如 PPO、RLOO 和 GRPO 继承了 RLHF 的 rollout 拓扑：对每个提示，从初始状态采样 N 条独立轨迹，并减去组基线计算优势。然而，这种设计忽略了智能体沙盒的一个关键特性——它们具有确定性、可快照和可从任意中间状态恢复的能力。研究者指出，这一特性可以实现一种根本不同的 rollout 拓扑：不是构建 N 棵独立的深度为 T 的轨迹树，而是构建一棵具有 N 片叶子的树，其中兄弟叶子共享前缀，因此共享方差。
在即将发表于 WAIC Academic 2026 的论文中，研究者提出了分支策略优化（Branching Policy Optimization, BPO），一种原生利用沙盒特性的强化学习算法。BPO 不采用独立轨迹，而是构建一棵具有 N 片叶子的树，其中兄弟叶子共享前缀。具体流程包括：在主幹轨迹的高熵决策点自适应创建沙盒快照；在分支点分叉出 K 个替代动作并各自执行至终止；计算兄弟轨迹每步收益的优势，而非基于独立提示。理论证明该估计无偏且方差严格低于轨迹级基线，降低量等于前缀可解释的收益方差部分。
在 WebShop、ALFWorld 和 SWE-bench Verified 基准上，以 Qwen2.5-7B 和 Llama-3.1-8B 为骨干，BPO 以相同计算量比 GRPO 和 RLOO 成功率绝对提升 3.6-6.1 个百分点，梯度范数方差减半，且仅需 38% 的策略更新即可达到最佳基线水平。该工作为沙盒环境中的 LLM 智能体训练提供了新的高效范式。