通过知识蒸馏将LLM转化为高效交叉编码器用于RAG重排序
本研究通过两阶段流水线（监督微调+4位量化）将LLaMA 3 (8B)微调为高效的替代重排序器，在RAG管道中替代传统交叉编码器，在保持高准确率的同时显著降低推理成本。在领域特定问答基准上，微调模型在答案相关性、上下文精度、答案相似度和答案正确性上分别提升14%、16%、19%和21%。
在检索增强生成（RAG）管道中，交叉编码器虽然能够实现高精度的重排序，但其二次推理复杂度严重限制了实时部署的可能性。为了解决这一瓶颈，研究人员提出了一种创新的两阶段方法，将大规模语言模型（LLM）微调为高效的替代重排序器。具体而言，他们以LLaMA 3（8B参数）为基础模型，首先利用Unsloth框架和LoRA适配器，在自定义的查询-文档相关性数据集上进行监督微调；随后，采用4位量化技术进一步压缩模型，实现高效的推理性能。
微调后的模型作为一个即插即用的重排序器，可以无缝替代传统交叉编码器，并集成到结合BM25和稠密向量检索的双检索器RAG管道中。为了验证其有效性，研究团队在领域特定的问答基准上使用RAGAS框架进行了全面评估。实验结果表明，与交叉编码器基线相比，微调后的LLaMA 3重排序器在答案相关性上提升了14%，上下文精度提升了16%，答案相似度提升了19%，答案正确性提升了21%。更重要的是，通过4位量化，推理开销得到了显著降低。
这些结果强有力地证明了指令调优的大语言模型能够被改造成准确且高效的重排序器，完全避免了传统交叉编码器二次复杂度的固有缺陷。该研究成果已提交至arXiv平台，论文标识符为2607.11933，于2024年完成。这一工作为RAG系统的实时应用提供了极具前景的解决方案，有望推动相关领域的进一步发展和部署。