跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

可能还是确定?评估临床文本中诊断不确定性保留的基准

文章摘要

该研究构建了一个包含1,200份临床文档和9,184个不确定性标注的基准,评估三个大语言模型在临床文本任务中保留诊断不确定性的能力。结果显示,模型保留原始不确定性线索的表现不佳,往往不到一半时间,且难以区分相邻不确定性级别。

来源arXiv Computational Linguistics作者: Hongbo Du, Zixin Lu, Jiaming Qu
可能还是确定?评估临床文本中诊断不确定性保留的基准
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

这篇于2026年6月16日提交的arXiv论文(arXiv:2606.18471,属于计算与语言cs.CL领域)由Hongbo Du等三位作者完成,聚焦于一个在临床文本处理中长期被忽视却至关重要的安全隐患:大语言模型在摘要、改写等任务中是否能够正确保留诊断的不确定性表达。随着LLM被越来越多地引入临床工作流程,既往研究大多只评估生成文本的流畅性与连贯性,却很少检验模型是否忠实维持了原文所传达的证据强度。然而在真实临床实践中,诸如“possible pneumonia(可能的肺炎)”这样的措辞并非可有可无的修辞,它直接反映了当前证据的强弱程度,并据此指导后续检查与治疗决策。一旦这种不确定性表达被改变,例如把“可能”写成“确诊”,临床含义就可能被完全改写,进而带来误诊或过度治疗的风险。

为系统性地研究这一问题,作者分两个步骤展开工作。第一步,他们构建了一个专门的基准数据集,包含1,200份临床文档,并在其中标注了9,184处不确定性标注,覆盖从最不确定到最确定共五个层级,从而能够细粒度地衡量模型对诊断不确定性的保持能力。第二步,研究团队在该基准上对三个大语言模型进行了评测,观察它们在处理临床文本时是否忠实保留了原始的不确定性线索。

评测结果揭示出两个值得警惕的问题。其一,LLM对原始不确定性线索的保留表现很差,很多时候保留率不足一半,也就是说模型经常会削弱、消除或改变原文中表达证据强度的措辞。其二,即便是在相邻的不确定性层级之间,模型也难以做出细致区分,容易把“很可能”与“确定”等接近但临床意义不同的等级混淆。作者指出,这种失效模式无法被标准的流畅度与连贯性评估指标所捕捉,因此常规评测可能会让临床部署方误以为模型表现良好。

该研究的贡献不仅在于揭示了这一具体的失败模式,还在于为LLM在临床工作流程中的安全部署提供了启示:在将语言模型用于临床文本摘要或修订时,需要专门针对诊断不确定性的保持能力进行评估与监控,而不能仅依赖通用指标。论文提供了PDF与实验性HTML全文,并可通过其DOI(10.48550/arXiv.2606.18471)引用,提交历史显示首版于2026年6月16日20:30:53 UTC上传,文件大小约729 KB。

展开要点与分析

文章情报

工程师进阶

要点

  • 构建了1,200份临床文档、9,184个五级不确定性标注的基准。
  • 三个大语言模型保留不确定性线索的准确率常低于50%。
  • 模型在区分相邻不确定性级别时表现困难。
  • 该失败模式未被标准评估指标捕获,对临床安全部署有启示。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。