最新arXiv論文《On Distinguishing Capability Elicitation from Capability Creation in Post-Training: A Free-Energy Perspective》提出了一種區分大語言模型後訓練中兩種不同能力變化的理論框架。作者Yuhao Li等人認為，當前關於監督微調（SFT）和強化學習（RL）的討論過於粗糙，通常將SFT視為模仿、RL視為發現，但這種二分法忽略了更本質的問題：訓練過程究竟是提升了模型已經能夠產生的行為的機率，還是改變了模型實際能夠達到的行為範圍。
為了將這一區別操作化，論文引入了“可達支援集”（accessible support）的概念，即模型在有限計算預算下實際能夠產生的行為集合。後訓練如果只是對這一集合內的行為機率進行重新加權，則屬於“能力激發”（capability elicitation）；而如果它改變了集合本身，使模型能夠產生全新的行為，則屬於“能力創造”（capability creation）。
作者透過自由能視角（free-energy perspective）來統一理解後訓練過程。他們將SFT和RL都視為對預訓練參考分佈的重加權，區別僅在於外部訊號不同：示範訊號（demonstration signals）定義了SFT的低能行為，而獎勵訊號（reward signals）定義了RL的低能行為。只要更新過程保持靠近基礎模型，其主要效果就是區域性的重加權，而非能力創造。
在這一框架下，核心問題不再是後訓練採用SFT還是RL的形式，而是它究竟是在重加權模型已經“夠得著”的行為，還是透過搜尋、互動、工具使用或引入新資訊來擴充套件模型的可達行為空間。這一視角為後訓練研究提供了更為精細的分析工具，有助於指導未來更有效、更可解釋的模型最佳化策略。該論文於2026年5月8日提交至arXiv，涉及人工智慧、統計力學和機器學習等多個領域。