為長期運行代理構建上下文修剪管道

要點

• 長期運行的AI代理面臨對話歷史無限增長的問題，導致令牌成本高和推理性能下降。
• 上下文修剪管道通過保留當前提示、最近對話輪次和語義相似的歷史輪次來優化上下文。
• 使用開源句子變換器模型（如all-MiniLM-L6-v2）計算語義相似度，無需付費API。
• 示例代碼展示瞭如何實現修剪邏輯，包括嵌入、餘弦相似度計算和Top-K選擇。