跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

EHRBench:面向大语言模型临床决策的自动化可靠电子健康记录基准

文章摘要

研究人员提出 EHRBench,一个基于真实电子健康记录(EHR)的自动化基准,包含约96万个问答项,覆盖诊断、治疗和预后三类核心临床决策任务,并对30多个代表性大语言模型进行了系统评测。

来源arXiv AI作者: Yuzhang Xie, Keqi Han, Yunpeng Xiao, Hejie Cui, Guanchen Wu, Ziyang Zhang, Kai Shu, Jiaying Lu, Xiao Hu, Carl Yang
EHRBench:面向大语言模型临床决策的自动化可靠电子健康记录基准
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

临床决策是真实医疗工作流程的核心环节,医生需要在证据不完整的情况下推断诊断、选择治疗方案或预判未来健康结果。近年来,大语言模型凭借强大的语言能力、广泛的生物医学知识和高效性,越来越多地被用于辅助这类决策。然而,这些模型在真实临床决策任务上的可靠性仍缺乏充分理解。为评估临床决策模型,尤其是基于大语言模型的模型,理想的医学决策基准应当通过自动化且可靠的流水线构建,以确保规模与质量并重。此外,将临床决策基准建立在真实患者电子健康记录之上,能更好地支持那些需要实质性生物医学知识和临床推理的实践任务评估。

为填补这些空白,由 Yuzhang Xie 等十位作者组成的研究团队提出了 EHRBench,一个自动化且可靠的、以电子健康记录为根基的基准,用于大规模评估基于大语言模型的临床决策能力。该基准通过 EHR-LLM-知识库交互流水线构建,以保证可扩展性和可靠性。在效率方面,研究团队使用一个专用大语言模型自动将 encounter 级别的电子健康记录轨迹转换为结构化模板,再确定性地将模板实例化为问答项。与此同时,他们应用系统性的基于知识库的验证与增强,过滤幻觉或模糊的关系,从而提升可靠性。

借助这一流水线,研究团队构建了接近100万条(精确为960,067条)问答项,覆盖三类需要推理的核心临床决策任务:诊断、治疗和预后。研究团队在 EHRBench 上对30多个代表性大语言模型进行了基准测试,并对性能和鲁棒性进行了详细分析。结果表明,在不同设置下能力趋势保持一致,进一步验证了 EHRBench 的可靠性,并揭示了迈向临床可靠的大语言模型系统的可操作差距。

该论文已被第32届 ACM SIGKDD 知识发现与数据挖掘会议(KDD 2026)数据集与基准赛道接收,并获选为 Oral 报告。论文于2026年5月28日提交至 arXiv,编号为 arXiv:2605.30637,属于人工智能(cs.AI)领域。

展开要点与分析

文章情报

工程师进阶

要点

  • EHRBench 通过 EHR-LLM-知识库交互流水线构建,兼顾规模与可靠性。
  • 基准包含960,067个问答项,覆盖诊断、治疗和预后三类推理密集型临床决策任务。
  • 研究评测了30多个代表性大语言模型,结果显示能力趋势一致,验证了基准的可靠性。
  • 论文发表于 KDD 2026 数据集与基准赛道,并获 Oral 报告。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。