2026年6月16日に投稿された本論文（arXiv:2606.18471、計算と言語cs.CL分野）は、Hongbo Du氏ら3名の著者によるもので、臨床テキスト処理において長く見過ごされてきたものの極めて重要な安全上の問題に焦点を当てている。すなわち、大規模言語モデル（LLM）が要約や改訂といったタスクにおいて、診断上の不確実性の表現を正しく保持できるかという点である。LLMが臨床ワークフローにますます導入される中、これまでの研究の多くは生成テキストの流暢さや一貫性のみを評価しており、モデルが原文の示す証拠の強さを忠実に維持しているかは十分に検討されていなかった。しかし実際の臨床現場では、「possible pneumonia（肺炎の可能性）」のような言い回しは単なる修辞ではなく、利用可能な証拠の強さを伝え、追加検査や治療の判断を直接導くものである。こうした不確実性表現が変更されれば、例えば「可能性」が「確定」と書き換えられれば、臨床的な意味は根本から変わり、誤診や過剰治療のリスクにつながりかねない。
著者らはこの問題を体系的に検討するため、二段階のアプローチを取った。第一に、1,200件の臨床文書からなる専用ベンチマークを構築し、そこに不確実性の強さを最も不確かな段階から最も確実な段階まで5段階に分類した9,184件のアノテーションを付与した。これにより、モデルが診断上の不確実性をどの程度細かく保持できるかを測定できる。第二に、このベンチマーク上で3つのLLMを評価し、臨床テキストを処理する際に元の不確実性の手がかりを忠実に保つかどうかを検証した。
評価の結果、警戒すべき二つの問題が明らかになった。第一に、LLMは元の不確実性の手がかりを保持する性能が低く、多くの場合で保持率は半分未満にとどまり、証拠の強さを示す表現を弱めたり削除したり変えたりしてしまうことが頻繁にあった。第二に、隣接する不確実性レベル間の微妙な区別も苦手であり、「可能性が高い」と「確定」のように近いが臨床的意味が異なる段階を混同しやすかった。著者らは、この種の失敗モードは標準的な流暢さや一貫性の評価指標では捉えられないと指摘しており、通常の評価では導入側がモデルの性能を過大評価してしまう恐れがある。
本研究の意義は、この具体的な失敗モードを明らかにしただけでなく、LLMを臨床ワークフローで安全に運用するための示唆を与えた点にある。臨床テキストの要約や改訂に言語モデルを用いる際には、汎用指標だけに頼らず、診断上の不確実性の保持能力を専用に評価・監視する必要がある。論文はPDFと実験的なHTML全文が公開されており、DOI（10.48550/arXiv.2606.18471）で引用可能である。投稿履歴によれば、初版は2026年6月16日20:30:53 UTCにアップロードされ、ファイルサイズは約729KBである。