OpenESM 由 Yuan Pu、Yudong Lu、Ting Wang、Zhicong Hong、Qinuo Li、Xuansheng Wu、Na Zou、Xia Hu 与 Guanchu Wang 共同完成,论文于 2026 年 10 月 7 日提交至 arXiv,编号为 arXiv:2610.33005v1,属于计算与语言(cs.CL)以及机器学习(cs.LG)交叉方向,全文共 12 页、7 幅图、3 张表。
研究的出发点在于:能量基模型在特定领域任务上表现出了有吸引力的性质,但要在通用场景中建模仍然困难。为弥合这一差距,作者设计了能量引导模型(Energy-Steered Models,ESMs),专门面向基础语言建模。ESMs 的核心设计是把能量引导与 token 生成整合进同一个架构,从而利用能量引导的搜索来改进 token 生成过程。
具体而言,ESMs 首先在能量景观上优化一个潜在状态,然后利用这个经过精炼的潜在状态进行 token 生成。也就是说,模型不是在生成阶段直接输出 token,而是先在能量空间中找到一个更有利的表示,再基于该表示决定输出。通过在大型语料上执行这种能量引导的预训练,ESMs 能够学到总体上有效的能量景观,其中更有利的 token 对应更低的能量值。
为了考察 ESMs 的扩展行为,作者在三个大规模语料上预训练模型,并在覆盖广泛领域的 26 个下游任务上进行评估。结果显示,ESMs 随着模型规模和训练数据的增加呈现出有希望的扩展行为,并且在大多数下游任务上优于 GPT。作者认为,这些发现表明 ESMs 是一种有前景的架构,可用于大规模预训练和通用问题求解。
除了方法本身,这项工作的另一个重要特点是开放性。作者完全公开了模型权重和训练基础设施,使社区能够完整复现并扩展他们的结果。相关资源包括 GitHub 仓库(datamllab/openesm)和 HuggingFace 模型集合(guan-wang/openesm)。论文还提供了 PDF、实验性 HTML 版本以及 TeX 源码等获取方式,并通过 arXiv 发布了 DOI。
总体来看,OpenESM 试图把能量基模型的思路带入通用基础模型训练,通过统一的能量引导架构在生成质量与扩展性之间建立联系,并以开源方式降低复现门槛。对于关注替代性语言模型架构、能量基建模以及可扩展预训练的研究者和工程团队而言,这项工作提供了可检验的基线与可复用的训练基础设施。