大語言模型在醫療領域的應用日益廣泛，但目前的評估方法往往過於簡化，無法反映真實臨床諮詢中的模糊性和不確定性。近日，Kevin H. Guo及其同事在arXiv上發表了題為“CLEAR: Revealing How Noise and Ambiguity Degrade Reliability in LLMs for Medicine”的論文，提出了一個名為CLEAR（臨床模糊性與可靠性評估）的新框架，系統性地研究了決策空間中的噪聲和模糊性如何影響LLM的醫學推理能力。
CLEAR框架透過三種方式擾動評估設定：首先，改變合理答案選項的數量，從少數幾個到多達幾十個；其次，決定是否提供真實答案或棄權選項，以及棄權選項的有無；最後，調整棄權選項的語義表述，例如從斷言式拒絕“以上皆非”轉變為不確定性承認“我不知道”。研究團隊在三個醫學基準測試上對17個不同規模的開源和閉源LLM進行了評估，發現了現有評估方法的三項顯著侷限性。
第一項侷限性是，增加合理答案的數量會削弱模型識別正確答案的能力，同時也降低了其對錯誤答案的棄權意願。當面臨更多似是而非的選擇時，模型更易出錯且不易主動放棄回答。第二項侷限性體現在棄權選項的表述方式上：當棄權從“以上皆非”轉為“我不知道”時，模型的不謹慎性加劇，甚至僅僅在答案空間中包含“我不知道”選項就會導致錯誤選擇增加，這表明模型對不確定性表述高度敏感。第三項侷限性是，研究人員將模型在識別正確答案與拒絕錯誤答案之間的表現差距定義為“謙遜赤字”，並發現這一赤字隨著模型規模的擴大而惡化——更大的模型反而更不善於在不確定時選擇棄權。
這些發現表明，僅靠擴大模型規模無法解決LLM在醫療領域的可靠性問題。CLEAR框架為未來更真實的評估方法提供了基礎，強調在醫療AI開發中需要關注決策空間的設計和不確定性表達，以確保模型在真實臨床環境中安全可靠。該研究對當前以考試式基準為主的LLM評估實踐提出了重要質疑，並呼籲開發更能反映現實世界醫療諮詢複雜性的評估方法。