当病例变得罕见：针对非指南临床问答的检索基准
该研究提出了OGCaReBench，一个专注于检索的基准测试，用于评估大型语言模型在回答超出典型指南范围的临床问题时的表现。实验表明，即使是最先进的模型（GPT-5.2）也仅有56%的准确率，而通过检索相关医学文献可提升至82%，强调了证据基础推理在真实医疗场景中的重要性。
在临床医学中，诊疗实践高度依赖循证指南，这些指南汇总了大量经过验证的诊断和治疗路径。然而，现实世界中存在大量罕见病例或非典型表现，这些病例并不在指南覆盖范围之内。当前的大型语言模型（LLM）主要被训练来记忆常见且以指南为中心的医学知识，而现有评估基准也多采用选择题形式测试模型对记忆内容的回忆能力。这种依赖记忆的方法在医学这一需严谨循证的领域既不现实也不可靠。为弥补这一空缺，研究人员提出了OGCaReBench（Off-Guideline Clinical Retrieval Benchmark），一个专注于检索增强的开放式临床问答基准。OGCaReBench从已发表的医学病例报告中提取问题，并经医学专家验证，形成一系列需要自由文本回答的长篇临床问题，系统评估LLM在罕见病例场景下的开放式医学推理能力。
实验结果显示，即使是表现最好的基线模型GPT-5.2，也仅能正确回答56%的基准问题，而专门为医学设计的模型表现更差，正确率仅为42%。但通过检索相关医学文献来增强模型，GPT-5.2的正确率可大幅提升至82%。这一结果充分证明了在现实医学推理任务中，基于外部证据的推理（而非单纯依赖参数记忆）具有关键作用。OGCaReBench的发布为评估和改进通用及医疗专用LLM在复杂临床环境中的可靠性奠定了基础，未来有望推动模型超越死记硬背，真正实现循证医学实践。该工作还提供了详细的基准框架，包括34页论文和20幅图表，为后续研究提供了丰富的资源。
随着人工智能在医疗领域的渗透，评估模型在真实临床场景下的表现变得至关重要。OGCaReBench不仅填补了当前缺乏针对非指南临床问答的基准的空白，还揭示了即使在顶尖模型中也存在的显著性能差距。这一发现对医疗AI开发具有重要指导意义，强调了在应用中必须整合外部知识检索机制。此外，该基准的开放式设计更贴近临床实际，为医生和研究者提供更可靠的评估工具。未来，结合更大的病例库和更先进的检索技术，OGCaReBench有望成为医疗LLM评估的标准工具，推动模型在罕见病和复杂病例中的推理能力发展。