強化學習已成為訓練與可執行沙盒互動的大型語言模型（LLM）智慧體的主流正規化。當前最先進的演算法如 PPO、RLOO 和 GRPO 繼承了 RLHF 的 rollout 拓撲：對每個提示，從初始狀態取樣 N 條獨立軌跡，並減去組基線計算優勢。然而，這種設計忽略了智慧體沙盒的一個關鍵特性——它們具有確定性、可快照和可從任意中間狀態恢復的能力。研究者指出，這一特性可以實現一種根本不同的 rollout 拓撲：不是構建 N 棵獨立的深度為 T 的軌跡樹，而是構建一棵具有 N 片葉子的樹，其中兄弟葉子共享字首，因此共享方差。
在即將發表於 WAIC Academic 2026 的論文中，研究者提出了分支策略最佳化（Branching Policy Optimization, BPO），一種原生利用沙盒特性的強化學習演算法。BPO 不採用獨立軌跡，而是構建一棵具有 N 片葉子的樹，其中兄弟葉子共享字首。具體流程包括：在主幹軌跡的高熵決策點自適應建立沙盒快照；在分支點分叉出 K 個替代動作並各自執行至終止；計算兄弟軌跡每步收益的優勢，而非基於獨立提示。理論證明該估計無偏且方差嚴格低於軌跡級基線，降低量等於字首可解釋的收益方差部分。
在 WebShop、ALFWorld 和 SWE-bench Verified 基準上，以 Qwen2.5-7B 和 Llama-3.1-8B 為骨幹，BPO 以相同計算量比 GRPO 和 RLOO 成功率絕對提升 3.6-6.1 個百分點，梯度範數方差減半，且僅需 38% 的策略更新即可達到最佳基線水平。該工作為沙盒環境中的 LLM 智慧體訓練提供了新的高效正規化。