OpenESM 由 Yuan Pu、Yudong Lu、Ting Wang、Zhicong Hong、Qinuo Li、Xuansheng Wu、Na Zou、Xia Hu 與 Guanchu Wang 共同完成,論文於 2026 年 10 月 7 日提交至 arXiv,編號為 arXiv:2610.33005v1,屬於計算與語言(cs.CL)以及機器學習(cs.LG)交叉方向,全文共 12 頁、7 幅圖、3 張表。
研究的出發點在於:能量基模型在特定領域任務上表現出了有吸引力的性質,但要在通用場景中建模仍然困難。為彌合這一差距,作者設計了能量引導模型(Energy-Steered Models,ESMs),專門面向基礎語言建模。ESMs 的核心設計是把能量引導與 token 生成整合進同一個架構,從而利用能量引導的搜尋來改進 token 生成過程。
具體而言,ESMs 首先在能量景觀上最佳化一個潛在狀態,然後利用這個經過精煉的潛在狀態進行 token 生成。也就是說,模型不是在生成階段直接輸出 token,而是先在能量空間中找到一個更有利的表示,再基於該表示決定輸出。透過在大型語料上執行這種能量引導的預訓練,ESMs 能夠學到總體上有效的能量景觀,其中更有利的 token 對應更低的能量值。
為了考察 ESMs 的擴充套件行為,作者在三個大規模語料上預訓練模型,並在覆蓋廣泛領域的 26 個下游任務上進行評估。結果顯示,ESMs 隨著模型規模和訓練資料的增加呈現出有希望的擴充套件行為,並且在大多數下游任務上優於 GPT。作者認為,這些發現表明 ESMs 是一種有前景的架構,可用於大規模預訓練和通用問題求解。
除了方法本身,這項工作的另一個重要特點是開放性。作者完全公開了模型權重和訓練基礎設施,使社群能夠完整復現並擴充套件他們的結果。相關資源包括 GitHub 倉庫(datamllab/openesm)和 HuggingFace 模型集合(guan-wang/openesm)。論文還提供了 PDF、實驗性 HTML 版本以及 TeX 原始碼等獲取方式,並透過 arXiv 釋出了 DOI。
總體來看,OpenESM 試圖把能量基模型的思路帶入通用基礎模型訓練,透過統一的能量引導架構在生成質量與擴充套件性之間建立聯絡,並以開源方式降低復現門檻。對於關注替代性語言模型架構、能量基建模以及可擴充套件預訓練的研究者和工程團隊而言,這項工作提供了可檢驗的基線與可複用的訓練基礎設施。