デプロイメント中心評価：臨床LLMシステムにおけるクエリレベルの拒否リスク予測
本論文は、学術医療センターの電子健康記録に組み込まれたLLMシステムのデプロイメント中心評価を提案する。クエリ内容とデプロイメント固有のコンテキスト（提供者タイプ、部門、使用言語モデル）を用いて事前応答分類器を訓練し、ユーザーの拒否リスクを予測する。4.5ヶ月の前向き分析でAUROC 0.719を達成し、デプロイメントコンテキストを用いた拒否予測の実現可能性を示し、標的ガードレールや棄権戦略への道を開く。
大規模言語モデル（LLM）の臨床システムへの統合が進む中、その実世界での有用性を評価する手法が急務となっている。従来の静的ベンチマークは正しさを測るものの、ユーザーの受容度を反映せず、密なアノテーションデータセットを必要とするため、臨床システム評価に大きな盲点があった。
本研究では、学術医療センターの電子健康記録（EHR）に埋め込まれたLLMシステムを対象に、デプロイメント中心の評価を実施した。研究チームは、LLMが応答を生成する前に、クエリ内容とデプロイメント固有のコンテキスト（提供者タイプ、部門名、応答に使用される言語モデル）に基づいて、将来のインタラクションでユーザーが応答を拒否するリスクを推定する事前応答分類器を訓練した。4.5ヶ月間にわたるユーザーフィードバックの前向き分析の結果、予測モデルはAUROC 0.719を達成した。
さらに、この予測の利点を2つの下流ユースケース（ガードレールトリガーと棄権）で評価した。重要な概念的洞察として、クエリ内容のみを使用するのではなく、デプロイメント固有のコンテキスト（提供者タイプ、部門、使用言語モデル）を活用することで、ユーザーがシステム出力を拒否するかどうかを予測する能力が向上することが示された。この実証的なケーススタディは、デプロイメントコンテキストを用いたユーザー拒否予測の実現可能性を示し、標的ガードレールへの扉を開くものである。
本研究成果は、臨床LLMシステムの実用性向上に向けた具体的な一歩であり、高リスクのインタラクションにおいて事前介入を可能にし、ユーザー満足度とシステム信頼性の向上に貢献することが期待される。