更健康的LLM：面向公共卫生问答的检索增强生成
大型语言模型（LLM）在医学问答基准测试中取得了可喜成果，但受到幻觉和官方指南快速演变的限制。检索增强生成（RAG）通过将回答基于明确维护的语料库来降低这些风险，但端到端性能关键取决于检索配置和超越多项选择格式的评估。研究将PubHealthBench扩展为检索增强设置，系统评估检索和生成选择，发现混合检索持续改进召回率和排序质量，且提供检索上下文能显著提高多项选择准确性。引入基于评分标准的LLM作为评判器评估自由形式回答，并与人工标注进行验证。
大型语言模型（LLM）在医疗问答领域展现出巨大潜力，但在公共卫生这类高度敏感且快速变化的领域中，其应用受到幻觉现象和官方指南频繁更新的严重制约。检索增强生成（RAG）技术通过将模型的回答锚定在一个明确维护的语料库中，有效缓解了这些风险。然而，RAG系统的端到端性能在很大程度上取决于检索配置的设计，以及如何对非多项选择形式的真实问答场景进行评估。
为了系统性地探究这些问题，研究人员扩展了已有的PubHealthBench基准测试，该基准包含从英国政府公共卫生指南中提取的7,929个问答对。他们将这一基准引入检索增强的设置中，并对多种检索和生成策略进行了全面的评估。研究比较了稠密检索、稀疏检索和混合检索在不同嵌入模型和语料变体上的表现。结果表明，混合检索在召回率和排序质量上始终优于其他方法，而分块长度和查询主题与排序性能之间存在复杂的交互作用。
进一步地，实验发现，当提供检索到的上下文时，各种LLM在多项选择准确性上均有显著提升。令人振奋的是，即使是较小的开源模型，在结合高质量检索和精心筛选的上下文后，也能在多项选择任务中匹配甚至超越未使用检索的大型模型。这一发现凸显了检索质量在可靠公共卫生问答中的关键杠杆作用。
为了评估更贴近实际应用的自由形式回答，该研究引入了一种基于评分标准的LLM-as-a-judge方法，从忠实性、完整性、清晰度和事实一致性四个维度进行评价，并与双重人工标注进行验证。结果显示，评判模型与人工判断在忠实性和完整性上的一致性最高，而在事实一致性和清晰度维度上则不太可靠，这提醒我们在大规模解读这些维度时需要谨慎。
总的来说，这项工作强调了检索是构建可靠公共卫生问答系统的首要杠杆，并为基于官方指南构建和评估RAG系统提供了实践指导。研究不仅验证了混合检索的优势，还揭示了检索配置的关键作用，为未来在公共卫生乃至其他高风险领域部署LLM提供了重要参考。