跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

OpenESM:能量引導模型成為可擴展的基礎學習器

文章摘要

OpenESM 提出能量引導模型(ESMs),將能量引導搜索與 token 生成集成在單一架構中,並在三個大規模語料上預訓練,在 26 個下游任務上多數超過 GPT,展示了良好的擴展性,同時開源模型權重與訓練基礎設施。

來源arXiv Computational Linguistics作者: Yuan Pu, Yudong Lu, Ting Wang, Zhicong Hong, Qinuo Li, Xuansheng Wu, Na Zou, Xia Hu, Guanchu Wang
OpenESM:能量引導模型成為可擴展的基礎學習器
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

OpenESM 由 Yuan Pu、Yudong Lu、Ting Wang、Zhicong Hong、Qinuo Li、Xuansheng Wu、Na Zou、Xia Hu 與 Guanchu Wang 共同完成,論文於 2026 年 10 月 7 日提交至 arXiv,編號為 arXiv:2610.33005v1,屬於計算與語言(cs.CL)以及機器學習(cs.LG)交叉方向,全文共 12 頁、7 幅圖、3 張表。

研究的出發點在於:能量基模型在特定領域任務上表現出了有吸引力的性質,但要在通用場景中建模仍然困難。為彌合這一差距,作者設計了能量引導模型(Energy-Steered Models,ESMs),專門面向基礎語言建模。ESMs 的核心設計是把能量引導與 token 生成整合進同一個架構,從而利用能量引導的搜索來改進 token 生成過程。

具體而言,ESMs 首先在能量景觀上優化一個潛在狀態,然後利用這個經過精煉的潛在狀態進行 token 生成。也就是説,模型不是在生成階段直接輸出 token,而是先在能量空間中找到一個更有利的表示,再基於該表示決定輸出。通過在大型語料上執行這種能量引導的預訓練,ESMs 能夠學到總體上有效的能量景觀,其中更有利的 token 對應更低的能量值。

為了考察 ESMs 的擴展行為,作者在三個大規模語料上預訓練模型,並在覆蓋廣泛領域的 26 個下游任務上進行評估。結果顯示,ESMs 隨着模型規模和訓練數據的增加呈現出有希望的擴展行為,並且在大多數下游任務上優於 GPT。作者認為,這些發現表明 ESMs 是一種有前景的架構,可用於大規模預訓練和通用問題求解。

除了方法本身,這項工作的另一個重要特點是開放性。作者完全公開了模型權重和訓練基礎設施,使社區能夠完整復現並擴展他們的結果。相關資源包括 GitHub 倉庫(datamllab/openesm)和 HuggingFace 模型集合(guan-wang/openesm)。論文還提供了 PDF、實驗性 HTML 版本以及 TeX 源碼等獲取方式,並通過 arXiv 發佈了 DOI。

總體來看,OpenESM 試圖把能量基模型的思路帶入通用基礎模型訓練,通過統一的能量引導架構在生成質量與擴展性之間建立聯繫,並以開源方式降低復現門檻。對於關注替代性語言模型架構、能量基建模以及可擴展預訓練的研究者和工程團隊而言,這項工作提供了可檢驗的基線與可複用的訓練基礎設施。

展開要點與分析

文章情報

工程師進階

要點

  • ESMs 先優化能量景觀上的潛在狀態,再用於 token 生成,將能量引導與生成統一到一個架構。
  • 在三個大規模語料上預訓練,26 個下游任務中多數優於 GPT,並隨模型規模與訓練數據增加展現良好擴展行為。
  • 作者完整公開模型權重和訓練基礎設施,便於社區復現與擴展。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。