大语言模型在医疗领域的应用日益广泛，但目前的评估方法往往过于简化，无法反映真实临床咨询中的模糊性和不确定性。近日，Kevin H. Guo及其同事在arXiv上发表了题为“CLEAR: Revealing How Noise and Ambiguity Degrade Reliability in LLMs for Medicine”的论文，提出了一个名为CLEAR（临床模糊性与可靠性评估）的新框架，系统性地研究了决策空间中的噪声和模糊性如何影响LLM的医学推理能力。
CLEAR框架通过三种方式扰动评估设置：首先，改变合理答案选项的数量，从少数几个到多达几十个；其次，决定是否提供真实答案或弃权选项，以及弃权选项的有无；最后，调整弃权选项的语义表述，例如从断言式拒绝“以上皆非”转变为不确定性承认“我不知道”。研究团队在三个医学基准测试上对17个不同规模的开源和闭源LLM进行了评估，发现了现有评估方法的三项显著局限性。
第一项局限性是，增加合理答案的数量会削弱模型识别正确答案的能力，同时也降低了其对错误答案的弃权意愿。当面临更多似是而非的选择时，模型更易出错且不易主动放弃回答。第二项局限性体现在弃权选项的表述方式上：当弃权从“以上皆非”转为“我不知道”时，模型的不谨慎性加剧，甚至仅仅在答案空间中包含“我不知道”选项就会导致错误选择增加，这表明模型对不确定性表述高度敏感。第三项局限性是，研究人员将模型在识别正确答案与拒绝错误答案之间的表现差距定义为“谦逊赤字”，并发现这一赤字随着模型规模的扩大而恶化——更大的模型反而更不善于在不确定时选择弃权。
这些发现表明，仅靠扩大模型规模无法解决LLM在医疗领域的可靠性问题。CLEAR框架为未来更真实的评估方法提供了基础，强调在医疗AI开发中需要关注决策空间的设计和不确定性表达，以确保模型在真实临床环境中安全可靠。该研究对当前以考试式基准为主的LLM评估实践提出了重要质疑，并呼吁开发更能反映现实世界医疗咨询复杂性的评估方法。