跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

OpenESM:能量引导模型成为可扩展的基础学习器

文章摘要

OpenESM 提出能量引导模型(ESMs),将能量引导搜索与 token 生成集成在单一架构中,并在三个大规模语料上预训练,在 26 个下游任务上多数超过 GPT,展示了良好的扩展性,同时开源模型权重与训练基础设施。

来源arXiv Computational Linguistics作者: Yuan Pu, Yudong Lu, Ting Wang, Zhicong Hong, Qinuo Li, Xuansheng Wu, Na Zou, Xia Hu, Guanchu Wang
OpenESM:能量引导模型成为可扩展的基础学习器
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

OpenESM 由 Yuan Pu、Yudong Lu、Ting Wang、Zhicong Hong、Qinuo Li、Xuansheng Wu、Na Zou、Xia Hu 与 Guanchu Wang 共同完成,论文于 2026 年 10 月 7 日提交至 arXiv,编号为 arXiv:2610.33005v1,属于计算与语言(cs.CL)以及机器学习(cs.LG)交叉方向,全文共 12 页、7 幅图、3 张表。

研究的出发点在于:能量基模型在特定领域任务上表现出了有吸引力的性质,但要在通用场景中建模仍然困难。为弥合这一差距,作者设计了能量引导模型(Energy-Steered Models,ESMs),专门面向基础语言建模。ESMs 的核心设计是把能量引导与 token 生成整合进同一个架构,从而利用能量引导的搜索来改进 token 生成过程。

具体而言,ESMs 首先在能量景观上优化一个潜在状态,然后利用这个经过精炼的潜在状态进行 token 生成。也就是说,模型不是在生成阶段直接输出 token,而是先在能量空间中找到一个更有利的表示,再基于该表示决定输出。通过在大型语料上执行这种能量引导的预训练,ESMs 能够学到总体上有效的能量景观,其中更有利的 token 对应更低的能量值。

为了考察 ESMs 的扩展行为,作者在三个大规模语料上预训练模型,并在覆盖广泛领域的 26 个下游任务上进行评估。结果显示,ESMs 随着模型规模和训练数据的增加呈现出有希望的扩展行为,并且在大多数下游任务上优于 GPT。作者认为,这些发现表明 ESMs 是一种有前景的架构,可用于大规模预训练和通用问题求解。

除了方法本身,这项工作的另一个重要特点是开放性。作者完全公开了模型权重和训练基础设施,使社区能够完整复现并扩展他们的结果。相关资源包括 GitHub 仓库(datamllab/openesm)和 HuggingFace 模型集合(guan-wang/openesm)。论文还提供了 PDF、实验性 HTML 版本以及 TeX 源码等获取方式,并通过 arXiv 发布了 DOI。

总体来看,OpenESM 试图把能量基模型的思路带入通用基础模型训练,通过统一的能量引导架构在生成质量与扩展性之间建立联系,并以开源方式降低复现门槛。对于关注替代性语言模型架构、能量基建模以及可扩展预训练的研究者和工程团队而言,这项工作提供了可检验的基线与可复用的训练基础设施。

展开要点与分析

文章情报

工程师进阶

要点

  • ESMs 先优化能量景观上的潜在状态,再用于 token 生成,将能量引导与生成统一到一个架构。
  • 在三个大规模语料上预训练,26 个下游任务中多数优于 GPT,并随模型规模与训练数据增加展现良好扩展行为。
  • 作者完整公开模型权重和训练基础设施,便于社区复现与扩展。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。