跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

提示语言影响大型语言模型的诊断推理与准确性

文章摘要

一项针对五种大型语言模型的研究发现,用英语提问时,模型在临床诊断推理和最终诊断准确性上的表现普遍优于法语,表明提示语言是影响LLM临床性能的关键因素。

来源arXiv Computational Linguistics作者: Adrien Bazoge, Josselin Corvellec, Sofiane Djillali Sid-Ahmed, Pierre-Antoine Gourraud
提示语言影响大型语言模型的诊断推理与准确性
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

一项于2026年5月18日提交至arXiv的新研究(编号2605.19173,第一作者为Adrien Bazoge,另有三位合著者)指出,向大型语言模型提问时所使用的语言,会显著影响其在临床诊断中的推理质量与最终诊断准确率。研究者将重点放在一个此前较少被系统检验的问题上:尽管大语言模型正被越来越频繁地探索用于临床决策支持,但绝大多数评估都在英语环境下进行,因此模型在其他语言中的可靠性仍不确定。

为量化语言带来的差异,研究团队选取了五个模型进行对比,分别是o3、DeepSeek-R1、GPT-4-Turbo、Llama-3.1-405B-Instruct和BioMistral-7B。测试材料为180个临床病例小故事,覆盖16个医学专科。评估由两名医生完成,采用18分制量表,同时考察最终诊断是否正确以及推理过程的质量。

结果显示语言效应相当普遍:五个模型中有四个在英语提示下表现更好,平均分差为0.37至0.91分,经校正后的p值小于0.05,具有统计学意义。作者强调,这一差距并非只体现在最终答案上,而是横跨推理的多个方面,包括鉴别诊断的展开、逻辑结构的组织以及内部一致性的维持。换句话说,用英语提问时,模型不只是更容易给出正确诊断,其推理链条本身也更完整、更严谨。

唯一的例外是o3,它是五个模型中唯一没有表现出整体语言效应的模型。不过研究者并未据此断言语言问题已经解决,而是把这一现象作为观察结果呈现。其余模型在法语环境下的相对劣势,意味着同一套模型在不同语言文化背景下可能给出质量不一的临床建议。

论文的结论是,提示语言仍然是决定大语言模型临床表现的关键因素之一,这对在全球范围内公平部署这类工具具有直接影响。作者指出,若临床决策支持系统主要以英语数据开发和评估,却推广到法语或其他语言地区,其可靠性和公平性都需要重新审视。该研究也提示,多语言临床评估应成为模型上线前的常规环节,而非可选项。

展开要点与分析

文章情报

投资人进阶

要点

  • 在五种测试模型中,四种在英语提示下表现更好,平均差异为0.37至0.91分。
  • o3是唯一未显示整体语言效应的模型。
  • 研究使用180个临床案例和18分制评分,由两名医生评估诊断准确性和推理质量。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。