Group Relative Policy Optimization（GRPO）已成為提升大語言模型推理能力的標準方法，但其訓練動力學仍主要依賴經驗描述：獎勵軌跡常以低引數函式形式擬合，所得常數缺乏機械意義，超引數選擇依賴於反覆試錯。最近，Rajat Ghosh等人在arXiv提交的論文《Predictable GRPO: A Closed-Form Model of Training Dynamics》中，提出了一個基於第一性原理的降階模型，以解析方式刻畫GRPO的訓練動力學。
該模型具有三個關鍵結果。首先，它將經驗性的單指數飽和律納入其過阻尼極限，將擬合的平臺、時間尺度和尺寸指數重新解釋為底層勢能的固定點、逆剛度和曲率縮放指數，並透過保留的慣性項新增了單指數無法表示的慢啟動階段。其次，模型提供了與可獨立測量量相關的預測，而非依賴於擬合引數：確定性軌跡的群大小不變性（伴隨1/G的穩態波動）、重新整理間隔的銳利穩定性閾值，以及過阻尼到振盪的轉變。第三，模型提供了診斷工具，能夠分離獎勵曲線本身所混淆的失敗模式——獎勵駭客、優勢退化、策略集中和動力學不穩定性。
研究者在三個不同模型和兩個群大小上驗證了模型。封閉形式軌跡對訓練獎勵的擬合達到了R²≥0.91，且預測的群大小不變性不僅在獎勵曲線上成立，還在八個數學基準的分佈外轉移中保持。在平均場假設嚴格成立的受控精確降階設定中，softmax-bandit降階復現了預測的過阻尼到振盪轉變，並在獨立測量的剛度處定位了重新整理間隔穩定性閾值。
這項工作為理解和最佳化GRPO訓練提供了堅實的理論基礎，有望減少試錯成本並提升訓練穩定性。研究者指出，深度網路的完整演示留待未來工作。