临床决策是真实医疗工作流程的核心环节,医生需要在证据不完整的情况下推断诊断、选择治疗方案或预判未来健康结果。近年来,大语言模型凭借强大的语言能力、广泛的生物医学知识和高效性,越来越多地被用于辅助这类决策。然而,这些模型在真实临床决策任务上的可靠性仍缺乏充分理解。为评估临床决策模型,尤其是基于大语言模型的模型,理想的医学决策基准应当通过自动化且可靠的流水线构建,以确保规模与质量并重。此外,将临床决策基准建立在真实患者电子健康记录之上,能更好地支持那些需要实质性生物医学知识和临床推理的实践任务评估。
为填补这些空白,由 Yuzhang Xie 等十位作者组成的研究团队提出了 EHRBench,一个自动化且可靠的、以电子健康记录为根基的基准,用于大规模评估基于大语言模型的临床决策能力。该基准通过 EHR-LLM-知识库交互流水线构建,以保证可扩展性和可靠性。在效率方面,研究团队使用一个专用大语言模型自动将 encounter 级别的电子健康记录轨迹转换为结构化模板,再确定性地将模板实例化为问答项。与此同时,他们应用系统性的基于知识库的验证与增强,过滤幻觉或模糊的关系,从而提升可靠性。
借助这一流水线,研究团队构建了接近100万条(精确为960,067条)问答项,覆盖三类需要推理的核心临床决策任务:诊断、治疗和预后。研究团队在 EHRBench 上对30多个代表性大语言模型进行了基准测试,并对性能和鲁棒性进行了详细分析。结果表明,在不同设置下能力趋势保持一致,进一步验证了 EHRBench 的可靠性,并揭示了迈向临床可靠的大语言模型系统的可操作差距。
该论文已被第32届 ACM SIGKDD 知识发现与数据挖掘会议(KDD 2026)数据集与基准赛道接收,并获选为 Oral 报告。论文于2026年5月28日提交至 arXiv,编号为 arXiv:2605.30637,属于人工智能(cs.AI)领域。