跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

利用圖工具改進小型語言模型中的分子屬性預測

文章摘要

小型語言模型在零樣本分子屬性預測中表現不佳,因為它們忽略了圖拓撲信息。本文提出了一種上下文增強提示框架,通過圖神經網絡工具提供預測提示和解釋性子圖,在MUTAG和Tox21數據集上實現了高達74%的相對改進,但仍與專用GNN模型存在差距。

來源arXiv AI作者: Konstantinos Bougiatiotis, Dimitrios Kelesis, Georgios Paliouras
利用圖工具改進小型語言模型中的分子屬性預測
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在人工智能輔助藥物發現領域,分子屬性預測一直是一個核心挑戰。儘管大型語言模型在諸多任務上表現出色,但小型語言模型(SLM)因其低計算成本在零樣本預測中具有吸引力,然而它們往往對分子的三維拓撲結構缺乏理解,這被稱為“結構盲區”。傳統上,圖神經網絡(GNN)通過直接建模分子圖結構取得了優異性能,而SLM主要依賴SMILES字符串序列,難以捕捉關鍵的圖拓撲線索。

為彌補這一缺陷,來自希臘的研究團隊提出了一種模塊化的上下文增強提示框架。該框架賦予SLM在推理時調用外部工具的能力:首先,一個訓練好的GNN專家模型會根據輸入分子給出帶有置信度的預測提示;接着,另一個GNN會提取與當前實例相關的解釋性子圖,並生成相應的子圖SMILES和解釋性段落。這些圖結構信息被整合到提示文本中,引導SLM做出更準確的預測。

研究人員在MUTAG和Tox21兩個標準數據集上,對三種常用的小型語言模型進行了評估,測試了從僅使用SMILES到聯合所有工具的共五種提示配置。實驗結果顯示,融合圖上下文後,模型準確率獲得顯著提升,相對改進幅度普遍超過25%,在Tox21數據集中甚至達到了74%。此外,通過必要性驅動的邊刪除干預,研究證實了所提取子圖與分子功能之間的相關性。

不過,論文也指出,即使有了圖增強,SLM與專用GNN模型之間的性能差距依然存在,這揭示了文本條件推理在分子結構理解中的侷限性。儘管如此,該工作為結合符號推理與子符號方法提供了新思路,有望在化學人工智能領域催生更多創新應用。

展開要點與分析

文章情報

工程師進階

要點

  • 小型語言模型對分子結構存在盲區,序列表示無法捕捉關鍵圖拓撲線索。
  • 提出的框架通過GNN專家模型提供預測提示,並提取解釋性子圖。
  • 在MUTAG和Tox21上,圖增強提示帶來超過25%的改進,最高可達74%。
  • 儘管有提升,但與專用GNN模型仍有差距,凸顯文本推理的侷限。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。