近年来，无监督强化学习（RL）被广泛视为大语言模型（LLM）实现自我改进的关键技术路线。然而，现有无监督RL方法在训练过程中往往无法自适应地跟随模型推理能力的动态变化，导致策略优化可能偏离正确方向。针对这一挑战，Yiming Huang及其合作者提出了一种名为FREIA（Free Energy-Driven Reinforcement Learning with Adaptive Advantage Shaping）的新型强化学习算法。该工作已被ACL 2026接收，并有望为LLM在缺乏人工标注数据时的自我进化提供新的技术路径。
FREIA的核心创新在于两个模块。首先是自由能驱动奖励（Free Energy-Driven Reward，FER），它基于自由能原理动态调整奖励信号。自由能原理源自认知科学和神经科学，常用于解释生物系统的感知与决策过程。FER利用这一原理巧妙地平衡了模型对已有共识的依赖与探索新策略的需求，从而避免了策略优化陷入局部最优或产生偏差。其次是自适应优势塑形（Adaptive Advantage Shaping，AAS），该组件根据采样奖励的统计特征自适应地调整学习信号的强度和方向。通过动态监测奖励分布的变化，AAS能够稳定训练过程，并防止模型在强化学习早期阶段受到噪声干扰。
研究团队在涵盖数学推理、常识推理和符号推理等三种推理任务的九个数据集上进行了全面评估。实验结果表明，FREIA显著优于当前其他无监督RL基线方法。尤其在数学推理任务中，基于DeepSeek-R1-Distill-Qwen-1.5B模型，FREIA在Pass@1指标上平均提升了0.5至3.5个百分点。这一成果证明了无监督RL在LLM推理能力提升上的巨大潜力。
值得注意的是，FREIA的提出也带来了一些值得探讨的问题。例如，自由能原理在LLM中的适用边界尚不明确，AAS的鲁棒性在不同规模模型上是否保持一致仍有待验证。此外，研究团队表示，未来将公开相关代码和模型，以促进该领域的进一步研究。总体而言，FREIA为无监督强化学习在LLM中的应用开辟了新方向，并为后续研究提供了坚实的基础。