OpenESM は Yuan Pu、Yudong Lu、Ting Wang、Zhicong Hong、Qinuo Li、Xuansheng Wu、Na Zou、Xia Hu、Guanchu Wang による論文で、2026年10月7日に arXiv に投稿された。識別子は arXiv:2610.33005v1、分野は計算と言語(cs.CL)および機械学習(cs.LG)にまたがり、12ページ、7図、3表で構成されている。
研究の出発点は、エネルギー基盤モデルが特定ドメインのタスクでは有望な性質を示す一方、汎用シナリオのモデリングは依然として難しいという点にある。このギャップを埋めるため、著者らは基礎的な言語モデリング向けにエネルギー誘導モデル(Energy-Steered Models、ESM)を設計した。ESM の中心的な考え方は、エネルギー誘導とトークン生成を同一のアーキテクチャ内に統合し、エネルギーに導かれた探索によってトークン生成を洗練させることにある。
具体的には、ESM はまずエネルギー景観上で潜在状態を最適化し、その洗練された潜在状態をトークン生成に利用する。つまり、生成段階で直接トークンを出力するのではなく、エネルギー空間の中でより有利な表現を見つけてから出力を決める。大規模コーパス上でこのようなエネルギー誘導の事前学習を行うことで、ESM は全体として有効なエネルギー景観を学習し、好ましいトークンがより低いエネルギー値に対応するようになる。
スケーリング挙動を調べるため、著者らは3つの大規模コーパスで ESM を事前学習し、幅広い領域をカバーする26の下流タスクで評価した。結果として、ESM はモデル規模と訓練データの増加に伴い有望なスケーリング挙動を示し、大多数の下流タスクで GPT を上回った。著者らは、これらの知見が ESM を大規模事前学習と汎用問題解決に向けた有望なアーキテクチャであることを示すと述べている。
方法論に加え、この研究の重要な特徴はオープン性である。著者らはモデルの重みと訓練インフラを完全に公開し、コミュニティが結果を完全に再現し拡張できるようにしている。関連リソースには GitHub リポジトリ(datamllab/openesm)と HuggingFace のモデルコレクション(guan-wang/openesm)が含まれる。論文は PDF、実験的な HTML 版、TeX ソースなどで取得でき、arXiv 経由で DOI も発行されている。
全体として OpenESM は、エネルギー基盤モデルの発想を汎用基盤モデル訓練へ持ち込み、統一的なエネルギー誘導アーキテクチャを通じて生成品質とスケーラビリティを結びつけ、オープンソース化によって再現の障壁を下げようとしている。代替的な言語モデルアーキテクチャ、エネルギー基盤モデリング、スケーラブルな事前学習に関心を持つ研究者やエンジニアリングチームにとって、検証可能なベースラインと再利用可能な訓練インフラを提供する仕事である。