arXiv:2606.30789v1 提交于2026年6月29日，题为《可预测的GRPO：训练动力学的闭式模型》，作者为Rajat Ghosh等七人。该论文关注大语言模型推理能力提升中广泛使用的组相对策略优化（GRPO），指出现有对其训练动力学的描述仍停留在经验层面：奖励轨迹常用低参数函数形式拟合，但拟合常数缺乏机制含义，超参数选择也依赖试错。
为此，作者从第一性原理出发构建了一个降阶模型。该约化带来三方面结果。第一，它将经验观察到的单指数饱和律作为过阻尼极限纳入其中，把原先拟合的平台值、时间尺度和规模指数重新解释为底层势函数的固定点、逆刚度与曲率缩放指数；同时，保留的惯性项使模型能够表示单指数无法刻画的慢启动阶段。
第二，该模型给出的预测与可独立测量的量挂钩，而非依赖拟合参数：确定性轨迹具有组大小不变性，并伴随1/G的稳态波动；刷新间隔存在一个尖锐的稳定性阈值；系统还会经历从过阻尼到振荡的转变。
第三，该框架提供了诊断工具，能够区分仅凭奖励曲线难以分辨的多种失败模式，包括奖励黑客、优势退化、策略集中和动力学不稳定性。
实验方面，作者在三个模型和两种组大小上验证，闭式轨迹对训练奖励的拟合达到R²≥0.91，且预测的组大小不变性在奖励曲线以及向八个数学基准的分布外迁移上均成立。稳定性和振荡预测则在一个受控的精确约化设置中得到检验：在平均场假设严格成立的softmax-bandit约化中，复现了预测的过阻尼到振荡转变，并在独立测量的刚度处定位了刷新间隔的稳定性阈值。作者指出，深度网络上的演示仍留待未来工作。
该研究属于机器学习（cs.LG）与统计机器学习（stat.ML）方向，论文以arXiv:2606.30789v1发布，DOI为10.48550/arXiv.2606.30789，提交历史显示2026年6月29日18:19:09 UTC收到第一版，全文752 KB。