CORVUS:基於底層同步的LLM編碼智慧體上下文最佳化與縮減
提出CORVUS,一種新型軌跡架構,透過解耦檔案讀取操作與觀察結果,維護同步檔案登錄檔,顯著減少LLM編碼智慧體的冗餘令牌和推理迴圈,同時保持透過率。
大型語言模型(LLM)編碼智慧體在執行多步決策任務時,會構建一個包含推理過程、工具呼叫和結果的軌跡。目前主流的僅追加軌跡架構,將每次檔案讀取操作及其產生的快照永久固定在時間序列中。這種設計存在一個嚴重缺陷:當智慧體自身編輯或人類並行修改程式碼後,之前捕獲的檔案快照會迅速變得陳舊,導致後續推理出現偏差,並觸發智慧體反覆重新讀取同一檔案。每一次重新讀取都會在軌跡中追加另一個副本,使得軌跡迅速膨脹,不僅消耗了大量令牌,還增加了推理延遲。
為了解決這一問題,研究團隊提出了CORVUS(Context Optimization and Reduction Via Underlying Synchronization),這是一種新型的軌跡架構。其核心思想是維護一個同步的檔案登錄檔,記錄所有相關檔案的最新狀態,並在每個推理週期僅注入當前實際的檔案內容,而非歷史快照。透過這種方式,檔案讀取操作與觀察結果被完全解耦,軌跡中不再包含冗餘的檔案副本和過時的快照,從而大幅減輕了軌跡的負擔。同時,軌跡始終與程式碼庫的即時狀態保持一致,從根本上消除了因快照過期而引起的推理錯誤。
研究者在兩個權威基準測試SWE-POLYBENCH_VERIFIED和SWE-BENCH PRO上,使用四種不同的LLM對CORVUS進行了系統評估。實驗結果表明,CORVUS能夠將每個任務的平均輸入令牌減少9%到50%,最終提示的長度縮短15%到32%,推理週期最多減少37%,同時保持與基線相當的透過率。這些資料表明,CORVUS在不犧牲任務完成質量的前提下,顯著提升了編碼智慧體的執行效率,降低了計算資源消耗。
這項研究對LLM編碼智慧體的實際應用具有重要意義。透過減少冗餘令牌和推理迴圈,CORVUS可以降低API呼叫成本、加快任務執行速度,並支援更復雜的多步驟程式碼編輯場景。未來,該架構有望整合到主流開發工具和Agent框架中,進一步推動AI輔助程式設計的發展。