医療分野における大規模言語モデル（LLM）の応用が進む一方で、その評価手法は現実の診療に存在する曖昧性を反映しない簡略化されたベンチマークに依存している。Kevin H. Guo氏らは、arXivに投稿された論文「CLEAR: Revealing How Noise and Ambiguity Degrade Reliability in LLMs for Medicine」において、新たな評価フレームワーク「CLEAR」（臨床的曖昧性と信頼性評価）を提案した。このフレームワークは、決定空間の提示方法がLLMの医学的推論に与える影響を体系的に調査するものである。
CLEARは3つの擾乱を評価設定に導入する。第一に、妥当な回答選択肢の数を変化させる。第二に、正解または棄権オプションの有無を変更する。第三に、棄権オプションの意味的枠組みを「上記のいずれでもない」のような断定的拒否から「わからない」のような不確実性の表明へと切り替える。研究チームは3つの医療ベンチマークを用いて、異なる規模の17のLLMを評価し、既存の評価手法に3つの顕著な限界があることを明らかにした。
第一の限界は、妥当な回答数の増加がモデルの正解特定能力と誤回答の棄権能力を低下させることである。第二に、棄権の表現が「わからない」に変わると不注意さが増し、このフレーズを選択肢に含めるだけで誤回答の選択が増加することが判明した。第三に、研究者は正解特定と誤回答棄権の間の性能差を「謙虚さの赤字」と定義し、この赤字がモデル規模とともに悪化することを示した。すなわち、大規模モデルほど不確かな場合に棄権を選びにくくなるのである。
これらの発見は、スケーリングだけではLLMの信頼性問題を解決できないことを示唆している。CLEARフレームワークは、より現実的な評価方法の基礎を提供し、医療AIの開発においては決定空間の設計と不確実性の表現に注意を払う必要があることを強調している。本研究は、現在主流の試験形式ベンチマークの限界を浮き彫りにし、現実の医療現場の複雑性を反映した評価手法の開発を促すものである。