更健康的LLM：面向公共衛生問答的檢索增強生成
大型語言模型（LLM）在醫學問答基準測試中取得了可喜成果，但受到幻覺和官方指南快速演變的限制。檢索增強生成（RAG）透過將回答基於明確維護的語料庫來降低這些風險，但端到端效能關鍵取決於檢索配置和超越多項選擇格式的評估。研究將PubHealthBench擴充套件為檢索增強設定，系統評估檢索和生成選擇，發現混合檢索持續改進召回率和排序質量，且提供檢索上下文能顯著提高多項選擇準確性。引入基於評分標準的LLM作為評判器評估自由形式回答，並與人工標註進行驗證。
大型語言模型（LLM）在醫療問答領域展現出巨大潛力，但在公共衛生這類高度敏感且快速變化的領域中，其應用受到幻覺現象和官方指南頻繁更新的嚴重製約。檢索增強生成（RAG）技術透過將模型的回答錨定在一個明確維護的語料庫中，有效緩解了這些風險。然而，RAG系統的端到端效能在很大程度上取決於檢索配置的設計，以及如何對非多項選擇形式的真實問答場景進行評估。
為了系統性地探究這些問題，研究人員擴充套件了已有的PubHealthBench基準測試，該基準包含從英國政府公共衛生指南中提取的7,929個問答對。他們將這一基準引入檢索增強的設定中，並對多種檢索和生成策略進行了全面的評估。研究比較了稠密檢索、稀疏檢索和混合檢索在不同嵌入模型和語料變體上的表現。結果表明，混合檢索在召回率和排序質量上始終優於其他方法，而分塊長度和查詢主題與排序效能之間存在複雜的互動作用。
進一步地，實驗發現，當提供檢索到的上下文時，各種LLM在多項選擇準確性上均有顯著提升。令人振奮的是，即使是較小的開源模型，在結合高質量檢索和精心篩選的上下文後，也能在多項選擇任務中匹配甚至超越未使用檢索的大型模型。這一發現凸顯了檢索質量在可靠公共衛生問答中的關鍵槓桿作用。
為了評估更貼近實際應用的自由形式回答，該研究引入了一種基於評分標準的LLM-as-a-judge方法，從忠實性、完整性、清晰度和事實一致性四個維度進行評價，並與雙重人工標註進行驗證。結果顯示，評判模型與人工判斷在忠實性和完整性上的一致性最高，而在事實一致性和清晰度維度上則不太可靠，這提醒我們在大規模解讀這些維度時需要謹慎。
總的來說，這項工作強調了檢索是構建可靠公共衛生問答系統的首要槓桿，併為基於官方指南構建和評估RAG系統提供了實踐指導。研究不僅驗證了混合檢索的優勢，還揭示了檢索配置的關鍵作用，為未來在公共衛生乃至其他高風險領域部署LLM提供了重要參考。