校准虚拟筛选中的无声失败:边际共形预测对少数类的覆盖不足,以及基于类别的修正方案
研究表明,在药物发现中使用的边际共形预测在类别不平衡数据集上会严重低估少数类的覆盖概率,而类别条件(Mondrian)共形预测能有效恢复。
共形预测(Conformal Prediction)正被广泛应用于药物发现领域,为模型可靠性提供可量化的保证:设定错误率α,该方法返回的预测集以至少1-α的概率包含真实标签。然而,最新研究显示,在类别不平衡的数据集上,这一保证可能带来严重隐患。来自arXiv的一篇论文(2607.06605)通过四个真实化学数据集揭示了边际共形预测(Marginal Conformal Prediction)在全局覆盖率达标的同时,对少数类的覆盖严重不足。
在血脑屏障渗透性预测任务中,少数类(即能够穿透血脑屏障的化合物)的实际覆盖率仅为64.8%,远低于目标90%;而在临床试验毒性预测中,少数类(毒性化合物)的覆盖率更是暴跌至4.2%,几乎被完全忽略。令人警醒的是,这种失败并非特定于某个模型:随机森林、图神经网络以及冻结的化学语言模型均重现了这一结果(p值均小于0.001)。研究指出,失败的严重程度与模型在少数类上的基础校准水平相关,而非模型架构本身。
研究团队揭示了一个守恒恒等式:少数类的覆盖率缺口等于多数类的超额覆盖率乘以不平衡比率。这一关系能够以1个百分点以内的误差预测实际测量差距,并在不同数据集间排序失败严重性。更隐蔽的是,即使采用严格的骨架划分(scaffold splits)和替代共形分数,该失败依然存在。与此同时,聚合准确率和总体覆盖率仍保持令人安心的水平——这正是该问题容易被忽视的原因。
为解决这一问题,论文提出采用类别条件(Mondrian)共形预测。该方法在每个类别内部独立进行校准,从而修复了覆盖缺口。实验表明,Mondrian共形预测在所有数据集上均恢复了少数类的目标覆盖率,仅以预测集大小的适度增加为代价。
进一步分析发现,失败主要发生在通用的分子骨架(如普通苯环和吡啶核)上——这些骨架在两类化合物中均有出现。研究者提出了一个单数值诊断指标,并通过成本模型证明:对受影响化合物放弃预测(即拒绝做出判断)可将筛选活动的净效用从负值转变为正值。该研究的贡献在于,首次在真实化学数据上展示了已知共形理论缺陷在不平衡条件下的严重性和隐蔽性,并提供了恢复每类可靠性的实用协议。