Tokencompress：一個亞2毫秒的Go CLI和MCP sidecar，用於修剪AI代理的工具上下文

Tokencompress 是一個輕量級工具，旨在解決 AI 代理在執行工具時面臨的大量原始資料問題。它採用 Go 編寫，零外部依賴，執行速度極快，官方宣稱其延遲低於 2 毫秒（甚至亞毫秒級）。該工具可作為 CLI 管道過濾器或 MCP sidecar 使用，在資料進入模型上下文視窗之前進行壓縮處理。

AI 代理在呼叫 API、執行終端命令或抓取網頁時，常常收到成千上萬行的未解析資料。例如，包含 1000 個元素的 JSON 陣列可能消耗超過 15,000 個令牌；冗長的堆疊跟蹤中充斥著框架噪音和 node_modules 路徑；原始 HTML 中的 CSS、指令碼和導航選單也大量佔用上下文。這些問題會導致 API 成本上升、響應變慢，甚至出現上下文腐爛——代理在任務中產生幻覺或重複呼叫工具。

Tokencompress 提供確定性過濾：JSON 模式保留代表性示例，並用後設資料替換冗餘陣列項；日誌模式剝離內部框架路徑，只保留根本錯誤資訊、使用者檔案路徑和執行行；HTML 模式刪除指令碼、樣式和導航元素，轉換為易讀的文本或 Markdown。此外，它還會按會話對工具輸出進行雜湊，如果代理連續兩次收到重複的工具結果，會在輸出前新增警告頭。

安裝和使用十分簡單：透過 make build 完成編譯，然後即可透過管道使用。例如，壓縮大型 JSON 響應可執行 cat large_response.json | tokencompress --mode json；處理堆疊跟蹤日誌可新增 --log-internal-marker 引數；清理 HTML 可直接使用 curl 管道。MCP 整合同樣方便，只需在 Claude Desktop 配置中新增一個 mcpServers 條目。

作者提供的基準測試顯示，在 500 項 JSON 陣列上可將約 12,500 個令牌壓縮至約 850 個（減少 93.2%）；Python 堆疊跟蹤從約 3,200 降至約 410（減少 87.1%）；HTML 網頁抓取從約 18,000 降至約 2,100（減少 88.3%）。這些壓縮完全基於規則，不需要呼叫第二個 LLM，因此額外延遲極低。

該專案以 MIT 許可證釋出，可自由用於開源和商業代理環境。如需定製整合或專用解析器，作者提供了付費諮詢和自定義開發服務。