在强化学习（RL）训练中，随着推理和智能体模型的不断进步，一个日益突出的瓶颈是前沿任务供应：即那些有效、可解且难度恰好足以训练当前模型的任务。固定任务分布会逐渐饱和，而简单合成生成的任务往往过于简单、不可能完成或存在缺陷。为了解决这一瓶颈，研究人员提出训练一个任务生成器，通过RL优化任务的有效性和可学习性。然而，直接优化需要对每个候选任务进行重复的求解器推理，对于软件工程（SWE）任务，单次推理可能需要数十分钟，导致求解器在环的生成器训练变得不可行。
在此背景下，洛伦茨·沃尔夫等七位作者提出了PROPEL框架，一种求解器摊销的训练方法，旨在在目标求解率下训练任务生成器。PROPEL首先基于一次性标注的生成任务和求解器结果数据集，训练一个轻量级激活探针。该探针能够从冻结的生成器参考模型中预测目标求解器的通过率，并在生成器优化过程中作为求解率的代理，从而将生成器评估简化为一次前向传播。这种摊销策略使得原本高昂的求解器调用成本大大降低，使得在复杂任务上训练有效的任务生成器成为可能。
实验在数学、代码和软件工程多个模型规模上验证了PROPEL的效果。在编程任务中，对于Qwen2.5-3B-Instruct求解器，生成任务中位于可学习前沿的比例从10.1%提高到20.0%；对于Qwen2.5-7B-Instruct求解器，从5.3%提高到12.6%。在软件工程领域，对于Qwen3.5-27B求解器，在训练探针和生成器时未见过的仓库上，PROPEL将目标求解率下的生成任务份额从9.8%提升至19.6%。这些结果表明，PROPEL能够有效推动任务生成朝向目标求解率，缓解前沿任务供应瓶颈。
此外，PROPEL的关键创新在于其轻量级激活探针的设计。该探针仅需一次前向传播即可预测求解器的通过率，避免了传统方法中需要对每个任务执行完整求解器推理的巨大开销。这一设计使得生成器的训练可以高效进行，甚至能够扩展到那些单次求解器推理需要数十分钟的软件工程任务。PROPEL的框架不仅适用于当前的大规模语言模型，也为未来更强大的智能体系统的训练数据自动生成提供了可扩展的解决方案。
该研究为自动化训练数据的生成提供了新思路，特别是在高成本求解器场景下，PROPEL的摊销方法显著降低了优化开销。未来，该方法有望扩展到更多复杂任务领域，进一步提升智能模型的训练效率。