臨床意思決定は実際の医療ワークフローの中心であり、臨床医は不完全な証拠のもとで診断を推測し、治療法を選択し、あるいは将来の健康結果を予測する。近年、大規模言語モデル（LLM）は、強力な言語能力、広範な生物医学的知識、効率性から、こうした意思決定を支援するためにますます利用されている。しかし、実際の臨床意思決定タスクにおけるLLMの信頼性は十分に理解されていない。臨床意思決定モデル、特にLLMベースのモデルを評価するには、理想的な実用的な医療意思決定ベンチマークが、規模と品質の両方を確保するために自動化されかつ信頼性の高いパイプラインで構築されるべきである。さらに、臨床意思決定ベンチマークを実際の患者の電子健康記録（EHR）に基づかせることで、実質的な生物医学的知識と臨床推論を必要とする実践的な臨床意思決定タスクの評価をよりよく支援できる。
これらのギャップを埋めるため、Yuzhang Xie氏ら10名の著者からなる研究チームは、LLMベースの臨床意思決定を大規模に評価するための、自動化され信頼性の高いEHR基盤のベンチマークであるEHRBenchを提案した。スケーラビリティと信頼性を確保するため、EHRBenchはEHR-LLM-知識ベース（KB）相互作用パイプラインを通じて構築される。効率性のために、研究チームは専用のLLMを用いて、遭遇単位のEHR軌跡を構造化テンプレートに自動変換し、そのテンプレートを決定論的にQA項目にインスタンス化する。並行して、知識ベースに基づく体系的検証と拡充を適用し、幻覚的または曖昧な関係をフィルタリングして信頼性を向上させる。
このパイプラインを用いて、研究チームは診断、治療、予後という3つの中核的な推論必須の臨床意思決定タスクにまたがる約100万件（正確には960,067件）のQA項目を構築した。研究チームはEHRBench上で30以上の代表的なLLMをベンチマークし、性能と堅牢性について詳細な分析を提供した。結果は、異なる設定間で一貫した能力傾向を示し、EHRBenchの信頼性をさらに検証するとともに、臨床的に信頼できるLLMシステムに向けた実行可能なギャップを明らかにした。
本論文は、第32回ACM SIGKDD知識発見とデータマイニング会議（KDD 2026）のデータセットとベンチマークトラックに採択され、Oral発表として選ばれた。論文は2026年5月28日にarXivに投稿され、番号はarXiv:2605.30637、人工知能（cs.AI）分野に属する。