近年、教師なし強化学習（RL）は大規模言語モデル（LLM）の自己改善を可能にする有望なパラダイムとして注目されています。しかし、既存の教師なしRL手法は、訓練中にモデルの進化する推論能力に適応できず、方策最適化が誤った方向に進む可能性がありました。この問題に対処するため、Yiming Huang氏らの研究チームはFREIA（Free Energy-Driven Reinforcement Learning with Adaptive Advantage Shaping）という新しい強化学習アルゴリズムを提案しました。本論文はACL 2026に採択されており、LLMが人手によるラベルなしで自己改善する新たな道を開くものとして期待されています。
FREIAの主な革新は2つの要素から成ります。第1に、自由エネルギー駆動型報酬（FER）は、認知科学や神経科学にルーツを持つ自由エネルギー原理に基づき、報酬を動的に調整します。これにより、モデルの既存のコンセンサスへの依存と新しい戦略の探索とのバランスを最適化し、方策の偏りを防ぎます。第2に、適応的アドバンテージシェイピング（AAS）は、サンプリングされた報酬の統計的特性に基づいて学習信号を適応的に調整します。報酬分布の変動を監視することで、訓練の初期段階におけるノイズの影響を軽減し、安定した学習を実現します。
研究チームは、数学推論、常識推論、記号推論の3つの推論タスクを含む9つのデータセットで評価を行いました。実験の結果、FREIAは他の教師なしRLベースラインを凌駕し、特に数学推論タスクではDeepSeek-R1-Distill-Qwen-1.5Bモデルを用いてPass@1スコアを平均0.5〜3.5ポイント向上させました。この結果は、教師なしRLがLLMの推論能力向上に有効であることを強く示しています。
今後の課題として、自由エネルギー原理のLLMへの適用範囲や、AASの異なるモデル規模での頑健性の検証が挙げられます。研究チームはコードとモデルを公開する計画であり、これによりコミュニティでのさらなる研究が促進されるでしょう。FREIAはLLMの自己改善における新たな地平を切り開く重要なステップです。