よりヘルシーなLLM：公衆衛生質問応答のための検索拡張生成
大規模言語モデル（LLM）は医学的質問応答ベンチマークで有望な結果を示しているが、幻覚や公的ガイダンスの急速な進化により公衆衛生での使用は制約される。検索拡張生成（RAG）は明示的に維持されたコーパスに回答を基づけることでこれらのリスクを軽減するが、エンドツーエンドの性能は検索設定と多肢選択以外の評価に大きく依存する。本研究はPubHealthBenchを検索拡張設定に拡張し、検索と生成の選択を体系的に評価。ハイブリッド検索が一貫して再現率とランキング品質を向上させ、検索コンテキストの提供が多肢選択精度を大幅に向上させることを示した。自由形式回答評価のためのルーブリックベースのLLM-as-a-judgeも導入。
大規模言語モデル（LLM）は医療質問応答のベンチマークで有望な結果を達成しているが、公衆衛生分野での使用は幻覚や公式ガイダンスの急速な変化によって制約されている。検索拡張生成（RAG）は、応答を明示的に維持されたコーパスに基づかせることでこれらのリスクを軽減するが、エンドツーエンドの性能は検索設定と多肢選択形式を超えた評価に決定的に依存する。
本研究では、英国政府の公衆衛生ガイダンスから派生した7,929の質問からなる質問応答ベンチマークPubHealthBenchを検索拡張設定に拡張し、検索と生成の選択を体系的に評価した。密検索、疎検索、ハイブリッド検索を複数の埋め込みモデルとコーパスバリアントにわたって比較し、ハイブリッド検索が一貫して再現率とランキング品質を向上させることを示した。チャンク長とトピックがランキング性能と相互作用することも明らかになった。
検索されたコンテキストを提供することで、多様なLLMセットにおける多肢選択精度が大幅に向上し、小さなオープンウェイトモデルが検索なしで使用される大きなモデルに匹敵するか、それを上回ることが可能になった。この改善は主に検索品質と注意深いコンテキスト選択によってもたらされた。
現実的な自由形式の回答を評価するために、忠実性、完全性、明確性、事実的一貫性をカバーするルーブリックベースのLLM-as-a-judgeを導入し、二重の人間によるアノテーションに対して検証した。判定者と人間の一致は忠実性と完全性で最も強く、事実的一貫性と明確性はそれほど確実に再現されず、これらの次元を大規模に解釈する際の注意を促している。
全体として、この結果は信頼性の高い公衆衛生QAのための主要なレバーとして検索を強調し、公式ガイダンスに基づいたRAGシステムの構築と評価のための実践的なガイダンスを提供する。