臨床現場に大規模言語モデル（LLM）を導入する際、従来の静的なベンチマークは正確性を重視するあまり、ユーザーの受容性を軽視しがちである。また、クエリ全体で性能を集約し、密なアノテーションを必要とするため、臨床システム評価に大きな盲点が生じる。この課題に対処するため、最近の研究では展開中心の評価手法を提案し、学術医療センターの電子健康記録システムに組み込まれたLLMを対象に実証分析を行った。
研究チームは、LLMが応答を生成する前に、クエリ内容と展開固有のコンテキスト（提供者タイプ、部門名、応答に使用される言語モデルなど）に基づいて、将来のインタラクションでユーザーが応答を拒否するリスクを推定する分類器を訓練した。このアプローチの独自性は、クエリ自体だけでなく、展開環境で利用可能なコンテキスト情報を活用する点にある。
モデルの有効性を検証するため、4.5ヶ月間にわたる前向き分析を実施し、ユーザーの実際のフィードバックを追跡した。その結果、予測モデルはAUROC 0.719を達成し、良好な予測能力を示した。さらに、この予測が2つの下流ユースケース（ガードレールの発動と棄権）でどのような利益をもたらすかを評価した。つまり、高い拒否リスクが予測された場合、システムは安全ガードレールを発動したり、回答を控えたりすることで、ユーザーの不満を回避できる。
この研究の重要な概念的洞察は、クエリ内容だけでなく展開固有のコンテキスト情報を利用することで、ユーザーがシステム出力を拒否するかどうかの予測能力が大幅に向上するという点である。これは、臨床LLMシステムの評価と最適化に新たな視点をもたらし、単なる正確性ではなくユーザー受容性に焦点を当てる重要性を示している。
全体として、この実証的ケーススタディは、展開固有のコンテキストを用いてユーザー拒否を予測することの実現可能性を証明し、的を絞った安全ガードレールの実装への道を開くものである。将来的には、この手法が臨床システムへのLLMの安全かつ効果的な統合を支援し、ユーザー体験と信頼性の向上に貢献することが期待される。