大规模语言模型（LLM）的推理能力提升是当前人工智能领域的重要课题。强化学习与可验证奖励（RLVR）的结合已被证明是一种有效范式，然而现有方法多采用静态策略优化方案，无法适应模型不断演化的推理能力。针对这一挑战，来自哈尔滨工业大学等机构的研究人员提出了自适应幂均值策略优化（APMPO），相关论文已被ACL 2026 Findings收录。
APMPO包含两项核心创新：幂均值策略优化（PMPO）和反馈自适应裁剪（FAC）。PMPO引入了一种广义幂均值目标函数，使模型能够自适应地从算术均值的信号放大行为过渡到几何均值的连续性强制行为。这一设计允许优化过程根据训练阶段自动调整策略，在早期强调探索，后期强化稳定性。FAC则通过实时统计奖励信号来动态调整裁剪边界，避免了传统静态裁剪机制可能造成的更新偏差或过度约束。
研究团队在数学推理、符号推理和常识推理三大类任务共9个基准数据集上进行了全面评估。以Qwen2.5-3B-Instruct为基座模型，APMPO在数学推理任务上的平均Pass@1得分相比GRPO提升了3.0个百分点，在所有任务上均超越了GRPO、PPO等强基线方法。此外，消融实验验证了PMPO和FAC各自的有效性，证明了二者协同带来的增益。
APMPO的提出为LLM推理强化学习提供了一种自适应、动态的优化范式。其核心思想在于让优化算法本身“学习如何学习”，从而更紧密地跟随模型能力提升的节奏。这一方向有望推动LLM在复杂推理场景中的进一步应用。