強化學習（RL）已成為訓練大語言模型（LLM）智能體的關鍵方法，但GRPO/RLOO等流行方法依賴於獨立採樣多條完整軌跡進行優勢估計。在長週期智能體任務中，這種均勻展開策略可能將預算浪費在無信息的死衚衕嘗試上，而有前途的中間狀態卻得不到充分探索。由於智能體軌跡具有多輪結構（動作與觀察交替出現），自然可將一組軌跡組織成樹形，每一輪充當探索的決策點。這種視角將有效探索問題重新定義為決定在何處分支的問題。
為此，研究者提出了過程評分器引導的自適應樹展開（PATR）——一種用於多輪智能體RL的質量感知展開框架。PATR利用任務合適的過程反饋來評分部分軌跡，從有前途的狀態選擇性分支，重用共享前綴，並保守地停止退化路徑以減少抽樣浪費。具體而言，PATR使用一個過程評分器（例如基於規則或學習到的模型）為每個部分軌跡分配一個分數，然後根據分數決定是否從該狀態繼續展開或停止。共享前綴意味着多個分支可以共享已經執行過的相同動作序列，從而避免重複計算。退化路徑的停止機制則防止了在無效方向上繼續浪費資源。得到的展開組仍可與標準策略優化（如PPO或GRPO）兼容，同時在相同訓練預算下提供更高效的探索。
研究者在FrozenLake和極具挑戰性的SWE-Bench上評估了PATR。FrozenLake是一個經典的網格世界導航任務，而SWE-Bench是一個基於真實GitHub問題的軟件工程基準，之前很少有樹展開智能體RL方法涉足。實驗表明，PATR在SWE-Bench上性能提升高達5.0個百分點，在FrozenLake上提升9.3個百分點，凸顯了過程引導的樹展開作為可擴展多輪RL的有效策略。這項工作為智能體訓練的樣本效率提升開闢了新方向，有望在更復雜的現實任務中得到應用。