臨床質問応答（QA）システムは通常、クリーンな入力に基づいて推論性能を評価しますが、実際の電子健康記録（EHR）ノートからの情報検索では、否定、時間性、家族対患者の帰属などが正しい答えを誤ったものに変える可能性があります。この問題に対処するため、研究者らはEpiKGを提案しました。これは、患者知識グラフ内の各事実にアサーションラベルと時間性タグを付与し、質問の意図に応じて検索をルーティングする知識グラフです。同時に、MIMIC-IVデータセットの43名の患者に対して400問の質問からなるベンチマークClinicalBenchを作成し、9つのアサーション感受性カテゴリをカバーしています。
研究チームは、Claude Opus 4.6、GPT-OSS 20B、MedGemma 27B、Gemma 4 31B、MedGemma 1.5 4B、Qwen 3.5 35Bの6つの大規模言語モデル（LLM）に対して、7条件のアブレーション実験を実施しました。3名の医師が100のペア項目をブラインドで判定しました。著者ブラインド主要評価項目（2名の外部医師が50の一致厳格項目を評価）では、EpiKGがベースラインを22.0パーセンテージポイント上回りました（95%信頼区間[5.1,31.5]、p=0.0192）。アーキテクチャの新規性として、意図認識型KG-RAGはContriever密ベースラインに対して8.84パーセンテージポイントの改善を示し（p=0.00179）、理想的な意図の下では12.43パーセンテージポイントの改善を示しました。感度分析も方向性で一致しています。3名の医師多数決による改善は24.0パーセンテージポイント（単一著者循環の影響あり）、決定論的キーワード再現性プロキシは39.5パーセンテージポイントでした。
注目すべき点として、LLM単独のベースライン性能が向上するにつれて、EpiKGによる利得は減少しました（beta=-1.123、r=-0.921、p=0.009）。さらに、医師による判定により、自動生成された参照回答の56%に欠陥があることが判明しました。この方法論的発見は、NLPパイプラインベースの臨床QAベンチマークが使用可能であるためには医師による判定が必要であることを示しています。すべてのコード、凍結評価器、3者判定データ、およびEpiKG出力スタックは公開されています。