大規模言語モデル（LLM）エージェントを複雑な長期的タスクでトレーニングする際、グループベースのポリシー最適化手法は、グループ内の軌道やステップを比較することでスパースなアウトカム報酬を活用します。しかし、困難なタスクではサンプリング不均衡が生じやすく、繰り返しや効果の低いアクションがポリシーの高確率領域を占め、状態を変える有用なアクションが過小サンプリングされます。この不均衡により、すべて失敗したロールアウトグループが多数発生し、アウトカム報酬がポリシー修正の方向性を提供できなくなります。さらに、これらの効果は自己強化型の信用トラップを形成し、失敗に支配されたサンプリングが結果に基づく修正を妨げ、繰り返しの低効果アクションが持続します。
このループを断ち切るために、Kaibing Yangらは進捗条件付きグループポリシー最適化（ProGPO）を提案しました。ProGPOの核心は、グループ内のすべてのサンプルがゼロのアウトカム報酬を受け取った場合にのみ、初回訪問観測カバレッジを使用してアドバンテージを割り当てることです。具体的には、そのようなグループ内で、より多くの新しい状態を訪問する軌道やステップに高い相対アドバンテージを割り当てます。新しい観測に到達することはタスク成功の前提条件だからです。この方法は、報酬信号が欠如している場合の従来のグループ戦略の盲目性を回避し、探索の進捗に基づく信号をポリシーに提供します。
実験は、ALFWorldとWebShopという2つの挑戦的なエージェントベンチマークで、Qwen2.5-1.5BおよびQwen2.5-7B-Instructモデルを用いて行われました。結果は、ProGPOがすべてのタスクで既存のグループ戦略ベースラインを一貫して上回り、特に困難なタスクで顕著な改善を示しました。例えば、ALFWorldの困難なシナリオでは、成功率が約10パーセントポイント向上しました。この手法はサンプリング不均衡を効果的に緩和し、長期的エージェントのトレーニングに実用的で効果的な改善策を提供します。
詳細には、ProGPOは次の観察に基づいています：長期的タスクでは、エージェントは最初の成功信号を得るために一連のアクションを実行する必要があります。従来のグループ戦略はグループ内の軌道を比較しますが、すべての軌道が失敗した場合、どの軌道が成功に近いかを区別できません。ProGPOは、各観測が初めて訪問されたかどうかを記録することで、探索の進捗を定量化します。軌道がより多くの新しい状態を探索した場合、最終的に失敗しても、より可能性が高いと見なされ、より高いアドバンテージを獲得します。このアドバンテージ割り当て戦略は、ポリシーを新しい状態の探索方向に更新するよう導き、繰り返しの低効果アクションの罠から徐々に脱出します。
さらに、ProGPOの実装はシンプルで効率的であり、既存のグループ戦略フレームワークに観測セットベースのカウントモジュールを追加するだけで、高コストな価値関数の追加計算は不要です。これにより、既存のトレーニングパイプラインに容易に統合できます。論文はまた、サンプリング不均衡の根本原因を分析し、スパース報酬の長期的タスクでは、標準的なアドバンテージ関数の推定が多数の全失敗グループによって無効になることを証明し、ProGPOのアドバンテージ推定がより信頼性の高い勾配信号を提供することを示しています。
この論文は2026年7月22日にarXivに提出され、機械学習（cs.LG）および人工知能（cs.AI）の分野に属します。長期的タスクにおけるグループポリシー最適化の欠陥に対する解決策を提供し、複雑な環境でのLLMエージェントの応用を促進することが期待されます。将来の研究では、ProGPOを他の探索インセンティブ（例：内発的報酬）と組み合わせたり、マルチエージェントシナリオに拡張したりすることが考えられます。