我们教会一个小型LLM丢弃68%的RAG上下文

要点

• 在RAG流程中新增了一个修剪步骤，使用小型LLM对检索到的块进行分级并丢弃不必要的部分。
• 采用5级评分体系，全面评估所有块与问题的相关性，解决了点式排序无法识别块集相关性的问题。
• 丢弃约68%的上下文，保留96%的召回率，净成本降低约34%。
• 修剪器运行耗时约0.7秒，在智能体中边际影响小，已默认启用于产品Agent SDK。