強化学習（RL）は大規模言語モデル（LLM）エージェントの訓練における主要な手法となっているが、GRPO/RLOOなどの一般的な手法は、複数の独立してサンプリングされた完全な軌跡を用いてアドバンテージ推定を行う。長期にわたるエージェントタスクでは、このような一様なロールアウト戦略は、情報のない行き止まりの試行に予算を浪費し、有望な中間状態が十分に探索されない可能性がある。エージェントの軌跡は多ターン構造（アクションと観察が交互に現れる）を持つため、軌跡グループをツリーとして整理し、各ターンを探索の意思決定点と見なすことが自然である。この視点は、効果的な探索を「どこで分岐するか」という問題に再構成する。
本研究では、プロセススコアラー誘導型適応ツリーロールアウト（PATR）を提案する。これはマルチターンエージェントRLのための品質認識ロールアウトフレームワークである。PATRはタスク適切なプロセスフィードバックを用いて部分軌跡をスコアリングし、有望な状態から選択的に分岐し、共有プレフィックスを再利用し、劣化パスを保守的に停止することで無駄なサンプリングを削減する。具体的には、PATRはプロセススコアラー（ルールベースまたは学習済みモデル）を使用して各部分軌跡にスコアを割り当て、そのスコアに基づいてその状態から展開を続けるか停止するかを決定する。共有プレフィックスにより、複数の分岐が既に実行された同じアクションシーケンスを再利用でき、重複計算を避ける。劣化パスの停止メカニズムは、無効な方向へのリソース浪費を防ぐ。得られたロールアウトグループは標準的なポリシー最適化（PPOやGRPOなど）と互換性を保ちつつ、同じ訓練予算内でより効率的な探索を提供する。
評価はFrozenLakeと困難なSWE-Benchで行われた。FrozenLakeは古典的なグリッドワールドナビゲーションタスクであり、SWE-Benchは実際のGitHub問題に基づくソフトウェア工学ベンチマークで、これまでツリーロールアウトエージェントRL手法ではほとんど未探索だった。実験の結果、PATRはSWE-Benchで最大5.0ポイント、FrozenLakeで9.3ポイントの性能向上を示し、プロセス誘導型ツリーロールアウトがスケーラブルなマルチターンRLの効果的な戦略であることを明らかにした。この研究はエージェント訓練のサンプル効率向上に新たな方向性を開き、より複雑な実世界タスクへの応用が期待される。