信頼性を設計する：多ステークホルダー向けLLM生成臨床試験要約の評価と改善

大規模言語モデル（LLM）は、医療提供者、患者、支払者向けに臨床試験の結果を要約するためにますます利用されていますが、その傾向として幻覚（ハルシネーション）を起こしやすく、このハイステークスな状況では重大なリスクをもたらします。この問題に対処するため、2026年7月10日にarXivに提出された研究「Faithful by Design: Evaluating and Improving LLM-Generated Clinical Trial Summaries for Multi-Stakeholder Audiences」では、LLMが生成する臨床試験要約の忠実度（faithfulness）を測定するためのベンチマーク評価フレームワークが導入されました。

研究チームは、ClinicalTrials.govデータベースの集計分析から200件の層化試験を抽出し、医療提供者、患者、支払者の3つのステークホルダーグループ向けに、それぞれ異なるプロンプトテンプレートを使用して要約を生成させました。評価には、事実の正確性、矛盾のなさ、完全性、関連性、明確性、偏りのなさの6次元からなる忠実度アノテーションスキーマが用いられました。まず、GPT-4o、Claude Sonnet 4.6、Gemini 2.5 Flashの3モデルについて、1800件の生成要約に対してクロスエンコーダ自然言語推論（NLI）モデルを用いてベースライン測定が行われました。その結果、「根拠のない主張」（Unsupported Claims）が3モデル全体で支配的な失敗モードであることが明らかになり、平均アノテーションスコアは3点満点中わずか1.55点でした。これは、モデルが元の試験データに基づかない情報を頻繁に生成していることを示しています。

この問題を改善するために、知識グラフ拡張検索システムが開発されました。このシステムは、外部の構造化知識ソースからの情報を統合することで、要約生成時に追加の背景と検証を提供します。ベースラインと比較した結果、NLIベースの忠実度スコアにおいて統計的に有意な改善が見られました：含意（entailment）スコアが0.0125向上し、忠実度スコアが0.0130向上しました（p < 0.0001）。注目すべき点は、改善の経路がモデルによって異なることです。GPT-4oは主に矛盾の削減（contradiction reduction）を通じて改善したのに対し、Claude Sonnet 4.6とGemini 2.5 Flashは含意の増加（increased entailment）を通じて改善しました。

本研究は、LLMを医療意思決定支援に安全に活用するための重要な知見を提供します。特に、LLMの信頼性評価のための標準化された方法論を確立し、知識グラフを用いた拡張検索が有効であることを示しました。今後の研究では、より細かい忠実度の測定やリアルタイムの介入メカニズムが期待されます。