通過知識蒸餾將LLM轉化為高效交叉編碼器用於RAG重排序
本研究通過兩階段流水線（監督微調+4位量化）將LLaMA 3 (8B)微調為高效的替代重排序器，在RAG管道中替代傳統交叉編碼器，在保持高準確率的同時顯著降低推理成本。在領域特定問答基準上，微調模型在答案相關性、上下文精度、答案相似度和答案正確性上分別提升14%、16%、19%和21%。
在檢索增強生成（RAG）管道中，交叉編碼器雖然能夠實現高精度的重排序，但其二次推理複雜度嚴重限制了實時部署的可能性。為了解決這一瓶頸，研究人員提出了一種創新的兩階段方法，將大規模語言模型（LLM）微調為高效的替代重排序器。具體而言，他們以LLaMA 3（8B參數）為基礎模型，首先利用Unsloth框架和LoRA適配器，在自定義的查詢-文檔相關性數據集上進行監督微調；隨後，採用4位量化技術進一步壓縮模型，實現高效的推理性能。
微調後的模型作為一個即插即用的重排序器，可以無縫替代傳統交叉編碼器，並集成到結合BM25和稠密向量檢索的雙檢索器RAG管道中。為了驗證其有效性，研究團隊在領域特定的問答基準上使用RAGAS框架進行了全面評估。實驗結果表明，與交叉編碼器基線相比，微調後的LLaMA 3重排序器在答案相關性上提升了14%，上下文精度提升了16%，答案相似度提升了19%，答案正確性提升了21%。更重要的是，通過4位量化，推理開銷得到了顯著降低。
這些結果強有力地證明了指令調優的大語言模型能夠被改造成準確且高效的重排序器，完全避免了傳統交叉編碼器二次複雜度的固有缺陷。該研究成果已提交至arXiv平台，論文標識符為2607.11933，於2024年完成。這一工作為RAG系統的實時應用提供了極具前景的解決方案，有望推動相關領域的進一步發展和部署。