長程LLM推理的上下文回收
大型語言模型在短上下文推理中表現出色，但在長對話中因上下文視窗限制和低效令牌使用而效能下降。ContextForge系統透過結構化查詢生成、外部記憶檢索和受控合成來回收上下文，顯著減少令牌開銷並保持答案質量。在15輪醫療對話基準測試中，ContextForge提高了連貫性並降低了令牌消耗。
大型語言模型（LLM）在短文本推理中表現出色，但當對話輪次增加時，由於上下文視窗的限制和低效的令牌使用，其效能會顯著下降。為了解決這一問題，研究人員提出了ContextForge系統，一種上下文回收機制，旨在長時程推理任務中保持任務相關資訊。
ContextForge的核心在於結合結構化查詢生成、外部記憶檢索和受控合成。系統透過生成針對性的查詢來識別與當前任務相關的歷史資訊，然後從外部記憶中檢索這些資訊，最後透過受控合成將其融入當前上下文中。這種方法避免了完整上下文回放的高成本，從而減少了令牌開銷，同時保持了答案的質量。
為了驗證ContextForge的有效性，研究團隊設計了一個包含15輪對話的醫療領域基準測試，測試包括多輪推理、回溯引用和領域切換等複雜場景。與使用相同底層模型的基線代理相比，ContextForge在保持相當響應準確性的同時，展現出了更高的連貫性和更低的令牌消耗。這些結果表明，上下文回收是一種實用的方法，可以在不依賴更大上下文視窗或模型重新訓練的情況下，擴充套件LLM在長時程任務中的能力。
目前，ContextForge的程式碼和評估工具已在GitHub上公開，供研究社群進一步探索和應用。這一工作為提升LLM在長對話場景中的實用性提供了新的思路。