在訓練大語言模型（LLM）智慧體執行復雜的長週期任務時，稀疏的結果獎勵通常透過組內軌跡或步驟的比較來指導策略最佳化。然而，這種方法在困難任務中面臨嚴重的取樣不平衡問題：重複或低效的動作佔據了策略的高機率區域，而真正能改變狀態的有用動作卻被取樣不足。這種不平衡導致大量全失敗的組，結果獎勵無法提供任何修正方向。更糟糕的是，這些效應會形成自我強化的信用陷阱——失敗主導的取樣無法產生基於結果的修正，使得重複的低效動作持續存在。
為打破這一迴圈，Kaibing Yang等研究者提出了進度條件組策略最佳化（ProGPO）。ProGPO的核心創新在於，當組內所有樣本都獲得零結果獎勵時，它僅透過首次訪問觀測覆蓋率來分配優勢。具體地，在這樣的組中，ProGPO為那些訪問更多新狀態的軌跡或步驟賦予更高的相對優勢，因為到達新觀測是任務成功的前提。這種方法避免了傳統組策略中獎勵訊號缺失時的盲目性，為策略提供了基於探索進度的訊號。
實驗在ALFWorld和WebShop兩個挑戰性基準上進行，使用Qwen2.5-1.5B和Qwen2.5-7B-Instruct模型。結果表明，ProGPO在所有任務上一致優於現有的組策略基線，尤其在困難任務上表現出顯著提升。例如，在ALFWorld中，ProGPO在困難場景下將成功率提升了約10個百分點。該方法有效緩解了取樣不平衡問題，為訓練長週期智慧體提供了一種實用且有效的改進方案。
詳細來說，ProGPO基於以下觀察：在長週期任務中，智慧體需要執行一系列動作才能獲得首次成功訊號。傳統組策略比較組內軌跡，但當所有軌跡都失敗時，無法區分哪條軌跡更接近成功。ProGPO透過記錄每個觀測是否首次被訪問，來量化探索進度。如果一個軌跡探索了更多新狀態，即使最終失敗，它也被認為更有潛力，因此獲得更高的優勢。這種優勢分配策略引導策略向探索新狀態的方向更新，從而逐漸逃離重複低效動作的陷阱。
此外，ProGPO的實現簡潔高效，僅需在現有組策略框架上增加一個基於觀測集的計數模組，無需額外計算昂貴的價值函式。這使得它易於整合到現有的訓練流程中。論文還分析了取樣不平衡的根源，證明在稀疏獎勵的長週期任務中，優勢函式的標準估計會因大量全失敗組而失效，而ProGPO的優勢估計提供了更可靠的梯度訊號。
這篇論文於2026年7月22日提交至arXiv，屬於機器學習（cs.LG）和人工智慧（cs.AI）領域。它提供了一種針對長週期任務中組策略最佳化缺陷的解決方案，有望推動LLM智慧體在複雜環境中的應用。未來工作可探索將ProGPO與其他探索激勵（如內在獎勵）結合，或擴充套件到多智慧體場景。