規則學習:用於法律案例檢索的自進化智慧體
研究人員提出了一種自進化框架,利用大語言模型(LLM)驅動的智慧體自動生成查詢重寫規則,在不進行引數訓練的情況下增強BM25演算法在法律案例檢索中的效能。實驗表明,該方法在中文法律案例檢索基準LeCaRD-v2上優於人工設計規則和貪心規則選擇等基線。
法律案例檢索一直是自然語言處理領域中的一項挑戰性任務,主要難點在於法律語言的複雜性和查詢與相關案例之間需要精確的詞法對齊。儘管近年來基於密集向量的檢索模型取得了顯著進展,但實證研究反覆表明,傳統的BM25演算法在該領域中仍然是一個強大的基線。這一發現促使研究團隊思考:是否可以在不進行引數訓練的前提下,透過規則驅動的查詢重寫來進一步提升BM25的效能?
為此,來自多所機構的研究人員提出了一種自進化框架(Self-Evolving Framework),該框架賦予大語言模型(LLM)驅動的智慧體一個自動評估環境,使其能夠迭代地建立查詢重寫規則、規劃規則組合的驗證實驗,並根據歷史反饋淘汰無效規則。整個過程無需任何引數訓練,完全依靠LLM的推理能力和實驗經驗來最佳化規則集。
研究團隊在中文法律案例檢索基準LeCaRD-v2上對該方法進行了評估。實驗結果表明,與包括人工設計規則和貪心規則選擇在內的非進化基線相比,所提出的框架在各項指標上均表現更優,尤其是在使用高效能LLM(如GPT-4或類似模型)作為核心時,效能提升更為顯著。
進一步的機制分析揭示了自進化的關鍵驅動力:LLM不僅能夠有效利用先前實驗的結果來指導後續規則生成,還具備內在的規則淘汰知識,即能夠判斷哪些規則是冗餘或無效的,從而提升規則集的整體質量。這一發現為理解LLM在自動知識發現中的應用提供了新的視角。
該論文已被ACL 2026會議接收,相關程式碼和資料集預計將公開發布,以便研究社群進一步探索和擴充套件這一方法。