在一家学术医疗中心，研究人员对一个嵌入电子健康记录（EHR）系统的大语言模型（LLM）系统进行了以部署为中心的真实世界评估，重点不再是回答是否正确，而是临床用户是否会接受系统输出。相关论文《Deployment-Centered Evaluation: Predicting Query-Level Rejection Risk in a Clinical LLM System》由 Alyssa Unell 等七位作者完成，于 2026 年 6 月 10 日提交至 arXiv（编号 2606.12702，cs.AI 分类）。
研究团队指出，随着 LLM 越来越多地被整合进临床系统，评估其实际效用变得至关重要。然而，静态基准通常只衡量“正确性”而非“用户接受度”，把不同查询的表现聚合在一起，并且依赖密集标注的数据集，导致临床系统评估存在明显盲区。相比之下，部署环境中的用户反馈虽然稀疏，却更贴近真实使用条件。
为此，作者训练了一个“生成前”分类器：在模型给出回答之前，仅依据查询内容以及部署环境中已有的上下文信息，预测这次交互最终是否会被用户拒绝。这些部署特定上下文包括医疗服务提供者类型、科室名称，以及用于生成回答的语言模型等。论文的核心概念洞见是：与只使用查询内容相比，引入部署特定上下文能显著提升预测用户是否会拒绝系统输出的能力。
作者对该模型进行了为期 4.5 个月的前瞻性分析，基于真实用户反馈检验其表现，结果显示预测模型的 AUROC 达到 0.719。随后，他们进一步估计了这类预测在两个下游用例中的价值：一是触发防护机制（guardrail triggering），二是在高风险情况下选择弃答（abstention）。
总体而言，这项实证案例研究表明，利用部署特定上下文预测用户拒绝是可行的，为构建有针对性的防护机制打开了大门，也提示临床 LLM 的评估应当从静态基准转向与实际部署条件紧密结合的动态监测。