強化學習已成為訓練與可執行沙盒交互的大型語言模型（LLM）智能體的主流範式。當前最先進的算法如 PPO、RLOO 和 GRPO 繼承了 RLHF 的 rollout 拓撲：對每個提示，從初始狀態採樣 N 條獨立軌跡，並減去組基線計算優勢。然而，這種設計忽略了智能體沙盒的一個關鍵特性——它們具有確定性、可快照和可從任意中間狀態恢復的能力。研究者指出，這一特性可以實現一種根本不同的 rollout 拓撲：不是構建 N 棵獨立的深度為 T 的軌跡樹，而是構建一棵具有 N 片葉子的樹，其中兄弟葉子共享前綴，因此共享方差。
在即將發表於 WAIC Academic 2026 的論文中，研究者提出了分支策略優化（Branching Policy Optimization, BPO），一種原生利用沙盒特性的強化學習算法。BPO 不採用獨立軌跡，而是構建一棵具有 N 片葉子的樹，其中兄弟葉子共享前綴。具體流程包括：在主幹軌跡的高熵決策點自適應創建沙盒快照；在分支點分叉出 K 個替代動作並各自執行至終止；計算兄弟軌跡每步收益的優勢，而非基於獨立提示。理論證明該估計無偏且方差嚴格低於軌跡級基線，降低量等於前綴可解釋的收益方差部分。
在 WebShop、ALFWorld 和 SWE-bench Verified 基準上，以 Qwen2.5-7B 和 Llama-3.1-8B 為骨幹，BPO 以相同計算量比 GRPO 和 RLOO 成功率絕對提升 3.6-6.1 個百分點，梯度範數方差減半，且僅需 38% 的策略更新即可達到最佳基線水平。該工作為沙盒環境中的 LLM 智能體訓練提供了新的高效範式。