最新のarXiv論文「On Distinguishing Capability Elicitation from Capability Creation in Post-Training: A Free-Energy Perspective」は、大規模言語モデルのポストトレーニングにおける能力変化の種類を区別する理論的枠組みを提案しています。著者のYuhao Liらは、現在の教師ありファインチューニング（SFT）と強化学習（RL）に関する議論は粗雑であり、SFTを模倣、RLを発見と捉えることが多いが、この二分法は本質的な問題を見落としていると指摘します。重要なのは、訓練手順が事前学習モデルが既に生成できる行動の確率を上げるのか、それともモデルが実際に到達可能な範囲を変えるのかということです。
この区別を操作可能にするため、論文は「到達可能なサポート集合」（accessible support）という概念を導入します。これは、モデルが有限の計算予算の下で実際に生成できる行動の集合です。このサポート集合内の行動の重みを再配分するポストトレーニングは「能力の引き出し」（capability elicitation）であり、サポート集合自体を変更するものは「能力の創出」（capability creation）に相当します。
著者らは、ポストトレーニングを自由エネルギー的視点から展開します。SFTとRLはどちらも事前学習された参照分布の再重み付けと見なすことができ、異なるのは外部信号だけです。実演信号（demonstration signals）はSFTの低エネルギー行動を定義し、報酬信号（reward signals）はRLの低エネルギー行動を定義します。更新がベースモデルに近いままであれば、主な効果は局所的な再重み付けであり、能力の創出ではありません。
この枠組みにおいて、中心的な問いはポストトレーニングがSFTかRLかではなく、既に手の届く範囲にある行動を再重み付けするのか、それとも探索、相互作用、ツール使用、または新しい情報の組み込みを通じてモデルの到達可能な行動空間を拡大するのかということになります。この視点は、ポストトレーニング研究にさらに精緻な分析ツールを提供し、将来のより効果的で解釈可能なモデル最適化戦略の指針となるでしょう。本論文は2026年5月8日にarXivに提出され、人工知能、統計力学、機械学習の分野にまたがっています。