材料版AlphaFold來了!40個工業任務全方位SOTA,AI4S迎來行業大突破
深度原理Deep Principle釋出材料基座模型MPA,採用大語言模型的三階段訓練方法,在40個真實工業任務資料集上取得SOTA。MPA透過中期訓練實現物理對齊,並設計混合讀出頭,在預測陌生結構時優勢顯著,標誌著AI for Science領域的重要突破。
材料版AlphaFold來了!40個工業任務全方位SOTA,AI4S迎來行業大突破 – 量子位
材料版AlphaFold來了!40個工業任務全方位SOTA,AI4S迎來行業大突破
思邈 2026-06-01 13:25:27
來源:量子位
疊加LLM“訓練buff”,材料AI終於學會了“物理直覺”
允中 發自 凹非寺
量子位 | 公眾號 QbitAI
AI模型在電腦上預測精度爆表,一到實驗室就各種出錯用不了?
本質還是訓練思路沒選好。
眾所周知,理論計算和真實實驗往往存在偏差。如果AI模型一直只在計算生成的完美資料上跑,一到“真場面”必然出問題。
儘管如此,AI4S大部分模型卻還是在各種計算理論榜單上卷效果,材料領域也不例外,在Matbench Discovery或Open Catalyst Project上刷成績的AI模型比比皆是。
其中固然有真實資料稀缺的原因。
但更重要的是,在工業實驗資料集上做預測往往更難,相比用固定的輸入預測固定的輸出,真實實驗資料集不僅存在噪聲、有誤差,資料要求也往往直接取決於特定工業需求。
現在,來自深度原理Deep Principle的最新材料基座模型MPA(Materials Property Axiom),走了一條截然不同的“野”路子——
把大語言模型的訓練方式直接拿來用,一舉在40個真實工業任務資料集上拿下SOTA。
同樣是真實資料稀缺的情況,為何MPA如此優秀?
一起來看看模型到底是怎麼訓練的。
基於LLM三段式訓練
MPA架構本身基於Transformer模型,其結構可以非常直觀地分為“頭”和“軀幹”兩部分。
“軀幹”是材料基座模型通用的圖Transformer,用於儲存核心的通用知識;
“頭”則根據不同訓練階段有所差異,主要是為了讓模型適配不同的訓練任務。
這次最核心的兩大突破,在於訓練模式的改變和後訓練階段“頭”的設計上。
第一點,mid-training的加入。
之前的材料基座模型,訓練模式基本分為兩個階段,預訓練(pre-training)和直接微調。
其中,預訓練是基於通用知識庫對模型做一個當前行業的“基礎通識訓練”,最後透過微調“精細任務最佳化”。
而在大模型模型(LLM)的實踐中,大家早就發現這樣的訓練模式還不足以“餵飽”它,因此往往要在預訓練和後訓練中間再疊加一層中期訓練(mid-training),用來讓模型在中等規模大小的通用任務(如程式碼除錯、數學謎題等)方面取得更好的表現,最終才能在更精細的特定任務上微調取得最佳效果。
為什麼要對引數量沒那麼大的模型也這樣做?
事實上,正如通用語料和特定單點任務存在鴻溝一樣,材料性質預測模型,同樣需要彌補從理論計算直接到實驗資料預測之間的鴻溝。
這其中的關鍵,在於建立AI對於真實材料需求的“物理直覺”,而不只是停留在分子結構上。
從分子結構到“物理直覺”到底差了什麼?
如果將各個原子類比為人類的五官,AI模型學習分子結構時,就像是在學習人類五官的位置,特定的分子有特定的五官分佈,但整體仍然有規律可循。
以苯環為例,AI在看過一系列苯環架構後,就能理解“六個碳在一個平面上”、或是“C-C鍵長1.4Å”這樣的特徵資訊。
然而,AI學習不同的分子結構後,卻並沒有認識到相似結構間隱含的物理資訊,就像能識別不同人臉卻無法理解共同的表情規律一樣。
還是以苯環為例,雖然AI一眼認出來這是苯環,但是對於苯環的生成焓、以及苯環的偶極矩有什麼特徵一點頭緒都沒有,更別提總結出“有OH基團的分子偶極矩通常偏大”這樣的規律。
這樣一來,即使AI在預訓練階段堆的資料再多,實際到資料稀缺的真實場景下表現還是不好。
基於此,MPA特意增加了一層專門針對於“物理對齊”(physics-guided alignment)的訓練,來彌補模型從分子結構的理論計算直接到下游實驗任務的鴻溝。
這個過程因為模型需要在各種基本物理特性的概念對齊,因此“沒有噪聲”而且“容易大規模產生”的各種特性的第一性原理計算資料,就成為了首選,深度原理此前積累的大規模計算資料,這次也恰好用在了mid-training上。
第二點,就是針對實驗預測任務設計的後訓練“頭”的創新了。
相比於沿用前中期那套現成的“頭”,MPA在後訓練階段專門設計了一種叫Hybrid Readout的“混合頭”。
它的核心,是給模型準備了兩條路:一條自由的,一條受約束的。
之所以這樣設計,是因為分子的性質本就分成兩類:
一類是沸點、生物活性這類性質,跟分子大小無關,看的是分子整體的“氣質”;
另一類是生成焓、燃燒焓、熱容這種標準,分子越大數值越高,邏輯更像記賬,整體等於各部分之和。
讓一個“頭”同時管好這兩類,太難了,於是MPA乾脆準備了兩套機制。
在注意力池化上,給模型足夠的自由。
這條路不預設任何規則,讓模型自己從全域性打量分子。
它用注意力機制去問遍每一個原子,再把答案綜合成一個判斷,這種不設限的讀法,正適合沸點、生物活性這類“氣質”標準。
在原子加和上,對模型進行約束。這條路反過來,直接把一條物理規律硬塞進結構裡:分子性質等於各原子貢獻之和。
每個原子單獨算出“我值多少”,再把所有原子加起來。對燃燒焓、熱容這種本就該“逐原子累加”的標準來說,這等於直接把正確答案的形狀告訴了模型,省得它從零摸索。
MPA用一個可訓練引數α將二者結合起來,意思是模型自己學著決定——
眼下這個性質,該走自由的路還是約束的路,α越小,模型越倚重自由那條路;α越大,約束那條路的話語權越重。
那麼,這樣設計訓練的模型實際效果如何呢?
場景越難效果提升越顯著
MPA從兩方面對模型效果進行了對比。
首先,為了證明LLM的三階段訓練方法在材料模型上同樣有效,MPA和“沒加料”的自己進行了對比:前面講的中期訓練和Hybrid Readout,到底有沒有用?
對照組很乾脆,同一個MPA預訓練模型,一個直接拿去微調(什麼物理直覺、什麼混合頭都不加),另一個走完整流程。
兩者在40個真實實驗性質上一一對比,綠色向外代表MPA更準,紅色向內代表更差。
結果證明,在隨機劃分模式下,40個性質裡有38個變好,平均誤差降低14.0%;而在更難的骨架劃分下,38個變好,平均誤差降低14.6%。
這裡有個值得玩味的細節:骨架劃分的提升,反而比隨機劃分更大。所謂骨架劃分,就是讓測試集裡的材料空間在訓練時壓根沒見過。
這才是真實科研裡最常遇到的場景:你要預測的往往是個全新的結構。
模型在“沒見過的骨架”上提升最明顯,恰恰說明它學到的不是死記硬背的分子長相,而是真正可遷移的“物理直覺”(inductive bias)。
那麼,整體模型設計到底有沒有突破?
MPA同樣和另外5個主流分子性質預測模型(ChemBERTa、ChemProp、Chemeleon、Uni-Mol2、Suiren)擺在一起進行了對比。
這裡也同樣分隨機和骨架兩種劃分,每個性質上誰最準就給誰標一顆星。
結果發現,無論隨機還是骨架劃分,MPA的綜合表現都是這一票模型裡最強的,而它最大的優勢,同樣出現在骨架這種“分佈漂移”的硬場景下,一舉斬下40個實驗物性中的35個SOTA。
兩類結果不約而同地指向同一個結論——
MPA最能打的地方,正是面對陌生結構、需要真實實驗外推的時候,這也正好印證了前面所有鋪墊的初衷。
讓AI建立的,不是對材料長相的記憶,而是對真實材料的“物理直覺”。
MPA做了一件很有意思的事:它把材料基礎模型的“適配問題”,重新定義成了“物理對齊問題”。
換句話說,與其不斷針對不同任務打補丁、做適配,不如讓模型直接對齊材料世界背後的物理規律。
為此,MPA提供了一條相當務實的技術路線:把第一性原理計算、高質量實驗資料,以及面向具體任務的微調訓練整合到同一個可擴充套件框架中,讓模型既能學到理論知識,也能理解真實世界的資料反饋。
更重要的是,隨著計算資料和實驗資料持續增長,MPA提供了一種新的資料利用方式:這些資料不再只是一次性消耗品,而是能夠不斷沉澱為可複用的預測能力。
最終得到的,也不再是一堆彼此割裂、只能解決單一問題的小模型,而是具備更強泛化能力的材料基礎模型。
MPA與當前主流的LLM訓練模式的共振,說明多階段訓練和alignment等概念不止適用於AI“虛擬世界”,“物理世界”的模型也會因為真實測量結果背後的物理規律實現深度對齊而受益。
目前,MPA已經作為Skill之一,接入了深度原理的Agent產品。
對MPA性質預測能力和效果感興趣的話,你可以直接上手試一試了:https://sciclaw.cn
(sciclaw的邀請碼在此,歡迎體驗:CN-SUL0WEAB)
MPA部落格:https://blog.deepprinciple.com/introducing-materials-property-axiom/
MPA技術報告:https://www.deepprinciple.com/papers/mpa.pdf
版權所有,未經授權不得以任何形式轉載及使用,違者必究。
LLM三段式訓練 材料基座模型 深度原理
思邈
機器人原生世界動作模型問世!首創時空一體架構,復旦系團隊出品2026-05-31
Token貴只因你餵給模型的垃圾太多了丨@亞馬遜王曉野AIGC20262026-05-31
輝達清華團隊提出Gamma-World:世界模型從「一個人玩」到「多人共處」2026-05-30
清華系團隊給大模型織了一張“智慧算力電網”2026-05-29
熱門文章
剛剛,國產AI自己造了AI,全球首例!
2026-05-26
卡帕西Anthropic最新頭銜:技術員工(MTS)
2026-05-26
4nm!比亞迪自研AI晶片來了:製程對齊輝達,算力拉爆特斯拉
2026-05-29
面壁智慧「開源周」:一場定義端側 AI 終局的系統性「亮劍」
2026-05-29
DeepSeek V4芯模協同背後,國產算力生態開始飛輪加速
2026-05-28
掃碼關注量子位
量子位 QbitAI 版權所有©北京極客夥伴科技有限公司 京ICP備17005886號-1