可信赖的设计：评估和改进面向多利益相关者的LLM生成的临床试验摘要
一项新研究提出了一个基准框架，用于评估大型语言模型（LLM）生成的临床试验摘要的忠实度，针对医疗提供者、患者和支付方三个利益相关者群体。该框架从ClinicalTrials.gov选取了200个分层试验，使用六维度注释模式评估了GPT-4o、Claude Sonnet 4.6和Gemini 2.5 Flash生成的1800个摘要。研究发现，“无依据声明”是所有模型最主要的失败模式。通过知识图谱增强检索系统，忠实度得分获得了统计显著的提升。
大型语言模型（LLM）在医疗领域的应用日益广泛，尤其是在临床试验结果的摘要生成中，它们被用来为医疗提供者、患者和支付方提供简洁的信息。然而，LLM容易产生幻觉（即生成不准确或虚构的内容），这在医疗决策等高风险场景中可能带来严重后果。为了解决这一问题，一项最新研究提出了一套系统化的基准评估框架，旨在衡量LLM生成的临床试验摘要的忠实度（faithfulness）。该研究于2026年7月10日提交至arXiv，由Robert Williams等人完成，论文标题为“Faithful by Design: Evaluating and Improving LLM-Generated Clinical Trial Summaries for Multi-Stakeholder Audiences”。
研究团队从ClinicalTrials.gov数据库的聚合分析中精心挑选了200个具有代表性的临床试验，确保这些试验在疾病类型、试验阶段和结果复杂性等方面具有多样性。针对三个不同的利益相关者群体——医疗提供者、患者和支付方，他们设计了各自专属的提示模板，以模拟实际应用场景中的信息需求。评估过程采用了包含六个维度的忠实度注释模式，这些维度包括：事实准确性、无矛盾、完整性、相关性、清晰性和无偏性。研究人员使用交叉编码器自然语言推理（NLI）模型，对三个先进的LLM——GPT-4o、Claude Sonnet 4.6和Gemini 2.5 Flash——生成的1800个摘要进行了基线评分。结果显示，“无依据声明”（Unsupported Claims）是所有模型最常见的失败模式，平均注释得分仅为1.55（满分3分），这表明模型频繁生成缺乏原始试验数据支持的信息。
为了改善这一状况，研究团队开发并评估了一套知识图谱增强的检索系统（knowledge-graph-augmented retrieval system）。该系统通过整合来自外部结构化知识源的信息，在生成摘要时提供额外的背景和验证依据。与基线相比，该系统在NLI忠实度评分上取得了统计显著的提升：蕴涵分数提高了0.0125，忠实度分数提高了0.0130（p < 0.0001）。值得注意的是，不同模型的改进路径存在差异：GPT-4o的改进主要源于矛盾减少（contradiction reduction），而Claude Sonnet 4.6和Gemini 2.5 Flash则主要通过增加蕴涵（entailment）来实现。
这项研究不仅为评估LLM在关键医疗领域的可靠性提供了标准化的方法论，还展示了知识图谱增强提示策略的有效性。未来工作可以探索更精细的忠实度度量指标，以及实时的干预机制，从而进一步推动LLM在医疗决策支持中的安全应用。