跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

利用图工具改进小型语言模型中的分子属性预测

文章摘要

小型语言模型在零样本分子属性预测中表现不佳,因为它们忽略了图拓扑信息。本文提出了一种上下文增强提示框架,通过图神经网络工具提供预测提示和解释性子图,在MUTAG和Tox21数据集上实现了高达74%的相对改进,但仍与专用GNN模型存在差距。

来源arXiv AI作者: Konstantinos Bougiatiotis, Dimitrios Kelesis, Georgios Paliouras
利用图工具改进小型语言模型中的分子属性预测
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在人工智能辅助药物发现领域,分子属性预测一直是一个核心挑战。尽管大型语言模型在诸多任务上表现出色,但小型语言模型(SLM)因其低计算成本在零样本预测中具有吸引力,然而它们往往对分子的三维拓扑结构缺乏理解,这被称为“结构盲区”。传统上,图神经网络(GNN)通过直接建模分子图结构取得了优异性能,而SLM主要依赖SMILES字符串序列,难以捕捉关键的图拓扑线索。

为弥补这一缺陷,来自希腊的研究团队提出了一种模块化的上下文增强提示框架。该框架赋予SLM在推理时调用外部工具的能力:首先,一个训练好的GNN专家模型会根据输入分子给出带有置信度的预测提示;接着,另一个GNN会提取与当前实例相关的解释性子图,并生成相应的子图SMILES和解释性段落。这些图结构信息被整合到提示文本中,引导SLM做出更准确的预测。

研究人员在MUTAG和Tox21两个标准数据集上,对三种常用的小型语言模型进行了评估,测试了从仅使用SMILES到联合所有工具的共五种提示配置。实验结果显示,融合图上下文后,模型准确率获得显著提升,相对改进幅度普遍超过25%,在Tox21数据集中甚至达到了74%。此外,通过必要性驱动的边删除干预,研究证实了所提取子图与分子功能之间的相关性。

不过,论文也指出,即使有了图增强,SLM与专用GNN模型之间的性能差距依然存在,这揭示了文本条件推理在分子结构理解中的局限性。尽管如此,该工作为结合符号推理与子符号方法提供了新思路,有望在化学人工智能领域催生更多创新应用。

展开要点与分析

文章情报

工程师进阶

要点

  • 小型语言模型对分子结构存在盲区,序列表示无法捕捉关键图拓扑线索。
  • 提出的框架通过GNN专家模型提供预测提示,并提取解释性子图。
  • 在MUTAG和Tox21上,图增强提示带来超过25%的改进,最高可达74%。
  • 尽管有提升,但与专用GNN模型仍有差距,凸显文本推理的局限。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。