大規模言語モデル（LLM）の推論能力向上は、AI分野における重要な課題である。検証可能な報酬を用いた強化学習（RLVR）は有効なパラダイムとして知られているが、既存手法は静的な方策最適化に依存しており、モデルの進化する推論能力とのミスマッチが生じていた。この問題に対処するため、ハルビン工業大学などの研究チームは、適応的Power-Mean方策最適化（APMPO）を提案した。本論文はACL 2026 Findingsに採択されている。
APMPOは、Power-Mean方策最適化（PMPO）とフィードバック適応型クリッピング（FAC）の2つの革新的要素から成る。PMPOは一般化されたPower-Mean目的関数を導入し、算術平均のシグナル増幅動作から幾何平均の一貫性強制動作へ適応的に遷移することを可能にする。これにより、訓練の初期段階では探索を促進し、後期では安定性を強化する。FACはリアルタイムの報酬統計に基づいてクリッピング境界を動的に調整し、従来の静的クリッピング機構が引き起こす更新バイアスや過度な制約を克服する。
研究チームは、数学推論、記号推論、常識推論の3タスクにわたる9つのベンチマークデータセットで包括的な評価を実施した。Qwen2.5-3B-Instructをベースモデルとして、APMPOは数学推論タスクにおいて平均Pass@1スコアをGRPOより3.0ポイント向上させ、すべてのタスクでGRPO、PPOなどの強力なベースラインを上回った。また、アブレーション実験によりPMPOとFACのそれぞれの有効性と、それらの相乗効果が確認された。
APMPOは、LLM推論のための強化学習に適応的で動的な最適化パラダイムを提供する。その核心は、最適化アルゴリズム自身が「学習の仕方を学習する」ことであり、モデルの能力向上に密接に追随するという点にある。この方向性は、複雑な推論シナリオにおけるLLMのさらなる応用を促進することが期待される。