大規模語言模型（LLM）的推理能力提升是當前人工智慧領域的重要課題。強化學習與可驗證獎勵（RLVR）的結合已被證明是一種有效正規化，然而現有方法多采用靜態策略最佳化方案，無法適應模型不斷演化的推理能力。針對這一挑戰，來自哈爾濱工業大學等機構的研究人員提出了自適應冪均值策略最佳化（APMPO），相關論文已被ACL 2026 Findings收錄。
APMPO包含兩項核心創新：冪均值策略最佳化（PMPO）和反饋自適應裁剪（FAC）。PMPO引入了一種廣義冪均值目標函式，使模型能夠自適應地從算術均值的訊號放大行為過渡到幾何均值的連續性強制行為。這一設計允許最佳化過程根據訓練階段自動調整策略，在早期強調探索，後期強化穩定性。FAC則透過即時統計獎勵訊號來動態調整裁剪邊界，避免了傳統靜態裁剪機制可能造成的更新偏差或過度約束。
研究團隊在數學推理、符號推理和常識推理三大類任務共9個基準資料集上進行了全面評估。以Qwen2.5-3B-Instruct為基座模型，APMPO在數學推理任務上的平均Pass@1得分相比GRPO提升了3.0個百分點，在所有任務上均超越了GRPO、PPO等強基線方法。此外，消融實驗驗證了PMPO和FAC各自的有效性，證明了二者協同帶來的增益。
APMPO的提出為LLM推理強化學習提供了一種自適應、動態的最佳化正規化。其核心思想在於讓最佳化演算法本身“學習如何學習”，從而更緊密地跟隨模型能力提升的節奏。這一方向有望推動LLM在複雜推理場景中的進一步應用。