模型选择在因果推断中的关键作用：InferBERT框架内分类模型的药效学比较分析
药效学中区分因果不良药物事件（ADE）与虚假相关性是一大挑战。InferBERT框架结合了Transformer模型与Do-calculus，但其成功依赖于底层分类模型。本研究比较了XGBoost、ALBERT、BioBERT和Med-LLaMA在两种基准上的表现，发现领域特定预训练的BioBERT准确率最高，而大型语言模型Med-LLaMA表现不佳。结果表明，在计算药效学中，投资于可管理的领域感知模型比单纯扩展模型规模更有效。
在药效学领域，区分因果不良药物事件（ADE）与虚假相关性一直是核心挑战。许多统计方法虽然能检测到关联，但无法确认因果关系。为此，研究人员开发了InferBERT框架，该框架将Transformer模型与Do-calculus相结合，旨在从文本中推断因果关系。然而，InferBERT的性能高度依赖于其底层的分类模型，不同的模型可能导致截然不同的结果。为了探究模型选择的影响，本研究系统评估了四种代表性模型：基于梯度提升树的XGBoost（作为基线）、原始InferBERT使用的ALBERT（轻量级Transformer）、生物医学领域预训练的BioBERT以及医疗大语言模型Med-LLaMA。
研究团队在两个具有挑战性的基准数据集上进行了实验：镇痛药诱发的急性肝衰竭（AILF）和曲马多相关死亡率（TRAM）。这两个数据集涵盖不同类型的药物安全事件，能够全面检验模型的泛化能力。实验采用5折交叉验证并重复20次，以确保结果的稳定性。评估指标包括准确率、预期校准误差（ECE，用于衡量模型置信度与实际正确率的一致性）以及因果术语与传统药效学信号（PRR、ROR、EBGM）的Jaccard一致度。
结果令人瞩目：BioBERT在两个数据集上均取得了最高的准确率，显著优于其他模型。相比之下，尽管Med-LLaMA拥有庞大的参数量并采用了参数高效微调技术，但其表现却最差，甚至不如简单的基线XGBoost。这一发现强有力地表明，领域特定的预训练远比模型规模更重要。此外，事后校准（通过等张回归）虽然改善了模型的校准误差，但对准确率和因果发现的影响并不一致：有时提升，有时甚至带来负面影响。BioBERT不仅准确率高，其识别出的因果术语与已知药效学信号的吻合度也最高，进一步验证了其可靠性。
该研究的结论对计算药效学领域具有重要指导意义：单纯追求模型规模扩大并非提升因果推断能力的有效途径。相反，投资于可管理、领域感知的模型（如BioBERT）能够以更低的计算成本获得更优的性能。未来研究应聚焦于优化领域特定预训练策略，而不是盲目堆叠参数。