可信賴的設計：評估和改進面向多利益相關者的LLM生成的臨牀試驗摘要

大型語言模型（LLM）在醫療領域的應用日益廣泛，尤其是在臨牀試驗結果的摘要生成中，它們被用來為醫療提供者、患者和支付方提供簡潔的信息。然而，LLM容易產生幻覺（即生成不準確或虛構的內容），這在醫療決策等高風險場景中可能帶來嚴重後果。為了解決這一問題，一項最新研究提出了一套系統化的基準評估框架，旨在衡量LLM生成的臨牀試驗摘要的忠實度（faithfulness）。該研究於2026年7月10日提交至arXiv，由Robert Williams等人完成，論文標題為“Faithful by Design: Evaluating and Improving LLM-Generated Clinical Trial Summaries for Multi-Stakeholder Audiences”。

研究團隊從ClinicalTrials.gov數據庫的聚合分析中精心挑選了200個具有代表性的臨牀試驗，確保這些試驗在疾病類型、試驗階段和結果複雜性等方面具有多樣性。針對三個不同的利益相關者羣體——醫療提供者、患者和支付方，他們設計了各自專屬的提示模板，以模擬實際應用場景中的信息需求。評估過程採用了包含六個維度的忠實度註釋模式，這些維度包括：事實準確性、無矛盾、完整性、相關性、清晰性和無偏性。研究人員使用交叉編碼器自然語言推理（NLI）模型，對三個先進的LLM——GPT-4o、Claude Sonnet 4.6和Gemini 2.5 Flash——生成的1800個摘要進行了基線評分。結果顯示，“無依據聲明”（Unsupported Claims）是所有模型最常見的失敗模式，平均註釋得分僅為1.55（滿分3分），這表明模型頻繁生成缺乏原始試驗數據支持的信息。

為了改善這一狀況，研究團隊開發並評估了一套知識圖譜增強的檢索系統（knowledge-graph-augmented retrieval system）。該系統通過整合來自外部結構化知識源的信息，在生成摘要時提供額外的背景和驗證依據。與基線相比，該系統在NLI忠實度評分上取得了統計顯著的提升：藴涵分數提高了0.0125，忠實度分數提高了0.0130（p < 0.0001）。值得注意的是，不同模型的改進路徑存在差異：GPT-4o的改進主要源於矛盾減少（contradiction reduction），而Claude Sonnet 4.6和Gemini 2.5 Flash則主要通過增加藴涵（entailment）來實現。

這項研究不僅為評估LLM在關鍵醫療領域的可靠性提供了標準化的方法論，還展示了知識圖譜增強提示策略的有效性。未來工作可以探索更精細的忠實度度量指標，以及實時的干預機制，從而進一步推動LLM在醫療決策支持中的安全應用。