本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

OpenESM:エネルギー誘導モデルはスケーラブルな基盤学習器となる

記事の要約

OpenESM はエネルギー誘導モデル(ESM)を提案し、エネルギー誘導探索とトークン生成を単一アーキテクチャに統合、3つの大規模コーパスで事前学習し、26の下流タスクの多くで GPT を上回りつつ良好なスケーリングを示した。モデル重みと訓練基盤も完全公開されている。

ソースarXiv Computational Linguistics著者: Yuan Pu, Yudong Lu, Ting Wang, Zhicong Hong, Qinuo Li, Xuansheng Wu, Na Zou, Xia Hu, Guanchu Wang
OpenESM:エネルギー誘導モデルはスケーラブルな基盤学習器となる
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

OpenESM は Yuan Pu、Yudong Lu、Ting Wang、Zhicong Hong、Qinuo Li、Xuansheng Wu、Na Zou、Xia Hu、Guanchu Wang による論文で、2026年10月7日に arXiv に投稿された。識別子は arXiv:2610.33005v1、分野は計算と言語(cs.CL)および機械学習(cs.LG)にまたがり、12ページ、7図、3表で構成されている。

研究の出発点は、エネルギー基盤モデルが特定ドメインのタスクでは有望な性質を示す一方、汎用シナリオのモデリングは依然として難しいという点にある。このギャップを埋めるため、著者らは基礎的な言語モデリング向けにエネルギー誘導モデル(Energy-Steered Models、ESM)を設計した。ESM の中心的な考え方は、エネルギー誘導とトークン生成を同一のアーキテクチャ内に統合し、エネルギーに導かれた探索によってトークン生成を洗練させることにある。

具体的には、ESM はまずエネルギー景観上で潜在状態を最適化し、その洗練された潜在状態をトークン生成に利用する。つまり、生成段階で直接トークンを出力するのではなく、エネルギー空間の中でより有利な表現を見つけてから出力を決める。大規模コーパス上でこのようなエネルギー誘導の事前学習を行うことで、ESM は全体として有効なエネルギー景観を学習し、好ましいトークンがより低いエネルギー値に対応するようになる。

スケーリング挙動を調べるため、著者らは3つの大規模コーパスで ESM を事前学習し、幅広い領域をカバーする26の下流タスクで評価した。結果として、ESM はモデル規模と訓練データの増加に伴い有望なスケーリング挙動を示し、大多数の下流タスクで GPT を上回った。著者らは、これらの知見が ESM を大規模事前学習と汎用問題解決に向けた有望なアーキテクチャであることを示すと述べている。

方法論に加え、この研究の重要な特徴はオープン性である。著者らはモデルの重みと訓練インフラを完全に公開し、コミュニティが結果を完全に再現し拡張できるようにしている。関連リソースには GitHub リポジトリ(datamllab/openesm)と HuggingFace のモデルコレクション(guan-wang/openesm)が含まれる。論文は PDF、実験的な HTML 版、TeX ソースなどで取得でき、arXiv 経由で DOI も発行されている。

全体として OpenESM は、エネルギー基盤モデルの発想を汎用基盤モデル訓練へ持ち込み、統一的なエネルギー誘導アーキテクチャを通じて生成品質とスケーラビリティを結びつけ、オープンソース化によって再現の障壁を下げようとしている。代替的な言語モデルアーキテクチャ、エネルギー基盤モデリング、スケーラブルな事前学習に関心を持つ研究者やエンジニアリングチームにとって、検証可能なベースラインと再利用可能な訓練インフラを提供する仕事である。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • ESM はエネルギー景観上の潜在状態を最適化してからトークンを生成し、エネルギー誘導と生成を一つのアーキテクチャに統合する。
  • 3つの大規模コーパスで事前学習し、26の下流タスクで評価。多くのタスクで GPT を上回り、モデル規模とデータ量の増加に伴うスケーリングを示す。
  • モデル重みと訓練インフラを完全公開し、コミュニティによる再現と拡張を可能にする。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。