RAG再ランキングのための知識蒸留によるLLMの効率的なクロスエンコーダへの変換
本研究では、LLaMA 3 (8B) を教師付き微調整と4ビット量子化からなる2段階パイプラインで効率的な代替再ランカーに調整し、RAGパイプラインで従来のクロスエンコーダを置き換えます。ドメイン固有のQAベンチマークにおいて、回答の関連性、コンテキスト精度、回答の類似性、回答の正確性で14%～21%の向上を達成し、推論オーバーヘッドを削減します。
検索拡張生成（RAG）パイプラインにおいて、クロスエンコーダは高精度な再ランキングを実現しますが、その二次推論コストがリアルタイム展開の大きな障壁となっています。この課題に対処するため、研究者たちは大規模言語モデル（LLM）を効率的な代替再ランカーに微調整する新しい手法を提案しました。具体的には、LLaMA 3（8Bパラメータ）をベースモデルとし、2段階のパイプラインを採用しています。第一段階では、UnslothフレームワークとLoRAアダプタを用いて、カスタムのクエリ-文書関連性データセットで教師付き微調整を実施します。第二段階では、4ビット量子化を施すことで、推論の効率を大幅に向上させています。
この微調整モデルは、BM25と密ベクトル検索を組み合わせたデュアル検索RAGパイプラインにおいて、クロスエンコーダの代わりにシームレスに組み込むことができるドロップイン再ランカーとして機能します。評価は、ドメイン固有の質問応答ベンチマークを用いてRAGASフレームワークで行われました。その結果、クロスエンコーダベースラインと比較して、微調整されたLLaMA 3再ランカーは回答の関連性で14%、コンテキスト精度で16%、回答の類似性で19%、回答の正確性で21%の向上を達成しました。さらに、4ビット量子化により推論オーバーヘッドが大幅に削減されています。
これらの結果は、指示チューニングされたLLMが、従来のクロスエンコーダのような二次複雑性を伴うことなく、正確で効率的な再ランカーに適応可能であることを明確に示しています。本研究成果はarXivに提出され、識別子は2607.11933であり、2024年に完了しました。この研究は、RAGシステムのリアルタイム応用に向けた有望な道筋を提供し、今後の展開が期待されます。