为长期运行代理构建上下文修剪管道

要点

• 长期运行的AI代理面临对话历史无限增长的问题，导致令牌成本高和推理性能下降。
• 上下文修剪管道通过保留当前提示、最近对话轮次和语义相似的历史轮次来优化上下文。
• 使用开源句子变换器模型（如all-MiniLM-L6-v2）计算语义相似度，无需付费API。
• 示例代码展示了如何实现修剪逻辑，包括嵌入、余弦相似度计算和Top-K选择。