強化学習は、実行可能なサンドボックスと対話する大規模言語モデル（LLM）エージェントを訓練する主要なパラダイムとなっている。PPO、RLOO、GRPOといった最先端のアルゴリズムはRLHFからロールアウトトポロジーを継承しており、各プロンプトに対して初期状態からN本の独立した軌道をサンプリングし、グループベースラインを差し引いてアドバンテージを計算する。しかし、この設計はエージェントサンドボックスの決定的な特性——決定論的で、スナップショット可能で、任意の中間状態から再開可能——を無視している。研究者らは、この特性により根本的に異なるロールアウトトポロジーが可能になると主張する。すなわち、深さTのN本の独立した軌道ではなく、N個の葉を持ち兄弟がプレフィックスを共有する単一のツリーを構築し、それによって分散を共有する。
WAIC Academic 2026で発表予定の論文では、このアイデアをBranching Policy Optimization（BPO）として具体化している。BPOはサンドボックスネイティブな強化学習アルゴリズムであり、(i) バックボーン軌道に沿った高エントロピー決定点でサンドボックスを適応的にスナップショットし、(ii) 各分岐点でK個の代替アクションをフォークしてそれぞれ終了までロールアウトし、(iii) 独立したプロンプトではなく兄弟リターンからステップごとのアドバンテージを計算する。理論的には、この推定は不偏であり、軌道レベルベースラインよりも厳密に分散が小さく、その削減量はプレフィックスで説明されるリターン分散の部分に等しいことが証明されている。
WebShop、ALFWorld、SWE-bench Verifiedにおいて、Qwen2.5-7BおよびLlama-3.1-8Bをバックボーンとして、BPOは同じ計算量でGRPOおよびRLOOよりも成功率を3.6～6.1絶対ポイント向上させ、勾配ノルム分散を半減し、38%少ないポリシー更新で最良のベースラインに匹敵する。この研究は、サンドボックス環境におけるLLMエージェント訓練の新しい効率的なパラダイムを提供する。