近年來，無監督強化學習（RL）被廣泛視為大語言模型（LLM）實現自我改進的關鍵技術路線。然而，現有無監督RL方法在訓練過程中往往無法自適應地跟隨模型推理能力的動態變化，導致策略最佳化可能偏離正確方向。針對這一挑戰，Yiming Huang及其合作者提出了一種名為FREIA（Free Energy-Driven Reinforcement Learning with Adaptive Advantage Shaping）的新型強化學習演算法。該工作已被ACL 2026接收，並有望為LLM在缺乏人工標註資料時的自我進化提供新的技術路徑。
FREIA的核心創新在於兩個模組。首先是自由能驅動獎勵（Free Energy-Driven Reward，FER），它基於自由能原理動態調整獎勵訊號。自由能原理源自認知科學和神經科學，常用於解釋生物系統的感知與決策過程。FER利用這一原理巧妙地平衡了模型對已有共識的依賴與探索新策略的需求，從而避免了策略最佳化陷入區域性最優或產生偏差。其次是自適應優勢塑形（Adaptive Advantage Shaping，AAS），該元件根據取樣獎勵的統計特徵自適應地調整學習訊號的強度和方向。透過動態監測獎勵分佈的變化，AAS能夠穩定訓練過程，並防止模型在強化學習早期階段受到噪聲干擾。
研究團隊在涵蓋數學推理、常識推理和符號推理等三種推理任務的九個資料集上進行了全面評估。實驗結果表明，FREIA顯著優於當前其他無監督RL基線方法。尤其在數學推理任務中，基於DeepSeek-R1-Distill-Qwen-1.5B模型，FREIA在Pass@1指標上平均提升了0.5至3.5個百分點。這一成果證明了無監督RL在LLM推理能力提升上的巨大潛力。
值得注意的是，FREIA的提出也帶來了一些值得探討的問題。例如，自由能原理在LLM中的適用邊界尚不明確，AAS的魯棒性在不同規模模型上是否保持一致仍有待驗證。此外，研究團隊表示，未來將公開相關程式碼和模型，以促進該領域的進一步研究。總體而言，FREIA為無監督強化學習在LLM中的應用開闢了新方向，併為後續研究提供了堅實的基礎。