我們教會一個小型LLM丟棄68%的RAG上下文

要點

• 在RAG流程中新增了一個修剪步驟，使用小型LLM對檢索到的塊進行分級並丟棄不必要的部分。
• 採用5級評分體系，全面評估所有塊與問題的相關性，解決了點式排序無法識別塊集相關性的問題。
• 丟棄約68%的上下文，保留96%的召回率，淨成本降低約34%。
• 修剪器運行耗時約0.7秒，在智能體中邊際影響小，已默認啓用於產品Agent SDK。