材料版AlphaFold登場!40の産業タスクでSOTA達成、AI4Sに大きなブレークスルー
Deep Principleが発表した材料基盤モデルMPAは、大規模言語モデルから着想を得た3段階訓練手法を採用し、40の実産業タスクでSOTAを達成。中期訓練による物理アライメントとハイブリッド読み出しヘッドにより、未知の構造予測で優れた性能を発揮し、AI for Scienceにおける重要な進歩を示している。
Deep Principleが開発した新たな材料基盤モデルMPA(Materials Property Axiom)が、AI for Scienceコミュニティで注目を集めている。大規模言語モデルの訓練手法に触発されたMPAは、40の実世界産業特性予測タスクで最先端の結果を達成し、理論計算と実験の現実との間のギャップを埋める。
従来の材料AIモデルは、シミュレーションデータから実世界の実験に移行する際に苦戦することが多い。主な問題は訓練アプローチにある。ほとんどのモデルは完全な計算データで事前訓練され、特定のタスクに微調整されるが、ノイズが多く希少な実験データに一般化するために必要な「物理的直感」を欠いている。MPAはLLMから借用した3段階訓練パイプライン(事前訓練、中期訓練、微調整)を採用することでこの問題に対処する。
重要な革新は中期訓練段階であり、物理誘導アライメントに焦点を当てている。標準的なモデルがこのステップをスキップするのに対し、MPAは大規模な第一原理計算データを使用して、生成エンタルピーや双極子モーメントなどの基本的な物理特性とモデルを整合させる。これにより、モデルは原子配置を単に記憶するのではなく、「OH基を持つ分子は双極子モーメントが大きくなる傾向がある」といった転移可能な概念を学習する。
もう一つの新しい要素はHybrid Readoutヘッドである。これは分子特性の2つの異なるタイプ(サイズ非依存:沸点、生物活性など、サイズ依存:生成エンタルピー、熱容量など)を処理するために設計されている。ハイブリッドヘッドは、注意力ベースのプーリング経路(大域的特性用)と原子単位の合計経路(加算的特性用)を組み合わせ、訓練可能なパラメータαで制御する。これにより、モデルは各特性に対してどのアプローチを優先するかを自動的に決定できる。
実験によりMPAの優位性が実証されている。中期訓練やハイブリッド読み出しがないベースラインと比較して、MPAはランダム分割で平均誤差を14.0%、より困難で現実的な骨格分割で14.6%削減する。他の5つの主要モデル(ChemBERTa、ChemProp、Chemeleon、Uni-Mol2、Suiren)と比較すると、MPAは総合性能で最も優れており、骨格分割の40タスク中35タスクで最高を記録した。
これらの結果は、MPAの強みが新しい構造の特性予測にあることを確認している。これはまさに科学者が新しい材料を設計する際に直面するシナリオである。問題を「タスク適応」から「物理アライメント」に再定義することで、MPAは第一原理データ、実験データ、タスク固有の微調整を統合するスケーラブルなフレームワークを提供する。計算データと実験データが増え続けるにつれて、MPAはこれらのリソースを再利用可能な予測能力に変える方法を提供し、孤立した単一目的モデルからより一般的な材料基盤モデルへと移行する。
MPAはDeep PrincipleのAgent製品にスキルとして統合されている。興味のあるユーザーはsciclaw.cn(招待コード:CN-SUL0WEAB)で試すことができる。詳細については、MPAブログとテクニカルレポートを参照。