強化学習（RL）を用いたエージェントの訓練において、推論能力や自律性が向上するにつれ、固定されたタスク分布ではすぐに飽和が生じます。一方、単純に合成されたタスクは、容易すぎたり、解けない問題であったり、条件が不適切であることが多く、有効な学習の妨げとなります。このボトルネックを解消するため、タスク生成器をRLで訓練し、タスクの有効性と学習可能性を最適化するアプローチが提案されています。しかし、直接最適化するには各候補タスクに対してソルバーを繰り返し実行する必要があり、特にソフトウェア工学（SWE）タスクでは1回の実行に数十分かかることもあり、実用的ではありません。
そこで、Lorenz Wolfら7名の著者による本研究では、PROPELというフレームワークを提案します。PROPELは、ソルバー評価を償却するアプローチを採用し、目標とする解決率でタスクを生成する生成器を訓練します。具体的には、あらかじめ生成されたタスクとソルバーの結果からなるラベル付きコーパスを用いて、軽量な活性化プローブを訓練します。このプローブは、凍結された生成器の参照モデルから目標ソルバーのパス率を予測し、生成器最適化中の解決率の代理として機能するため、生成器の評価は単一の順伝播に削減されます。この償却戦略により、ソルバー呼び出しのコストが大幅に削減され、複雑なタスクにおいても効果的なタスク生成器の訓練が可能になります。
実験は、数学、コード、ソフトウェア工学の複数のモデル規模で実施されました。コードタスクでは、Qwen2.5-3B-Instructソルバーに対して、学習可能フロンティアのタスク生成割合が10.1%から20.0%に増加し、Qwen2.5-7B-Instructソルバーでは5.3%から12.6%に向上しました。SWEタスクでは、プローブと生成器の訓練時に見られなかったリポジトリに対してQwen3.5-27Bを用いた場合、目標解決率での生成割合が9.8%から19.6%に上昇しました。これらの結果は、PROPELが目標解決率に向けてタスク生成をシフトさせ、学習可能フロンティアのタスク供給を効果的に増加させることを示しています。
さらに、PROPELの主要な革新は、軽量な活性化プローブの設計にあります。このプローブは、一度の順伝播でソルバーのパス率を予測できるため、従来の各タスクに対する完全なソルバー推論の巨大なオーバーヘッドを回避します。この設計により、生成器の訓練は効率的に実行でき、単一のソルバー推論に数十分を要するソフトウェア工学タスクにも拡張可能です。PROPELのフレームワークは、現在の大規模言語モデルだけでなく、将来のより強力なエージェントシステムにおける訓練データの自動生成にもスケーラブルなソリューションを提供します。
本研究は、自動化された訓練データの生成に新たな道を開き、特に高コストなソルバーシナリオにおいて、PROPELの償却手法は最適化のオーバーヘッドを劇的に削減します。今後、この手法はさらに複雑なタスク領域に拡大され、知的モデルの訓練効率を一層向上させることが期待されます。