Compressor V2：三層壓縮技術將LLM智慧體成本降低50%

Edgee AI釋出了Compressor V2，這是其AI閘道器中用於LLM智慧體工作流的關鍵壓縮元件。智慧體，特別是編碼智慧體，通常執行時間長且上下文密集，單個SWE-bench任務可能消耗30-100次API呼叫和1-1000萬令牌，導致成本快速上升。壓縮技術不僅緩解經濟壓力，還能改善延遲、擴充套件上下文視窗有效長度並提升伺服器吞吐量。

Compressor V2是在V1基礎上的重大升級。V1僅採用工具結果修剪策略，實現約10%的成本節省。V2引入三個正交策略層：簡潔輸出（Brevity）針對輸出令牌，工具表面縮減（TSR）針對MCP工具目錄，工具結果修剪針對累積的冗長工具輸出。三者可獨立配置，組合使用以匹配不同工作負載。

簡潔輸出策略是編碼任務的核心。它指示模型減少元文本（如計劃敘述），直接執行工具呼叫和生成補丁。在SWE-bench Lite的6個代表性任務上的測試表明，該策略使中位數成本降低27.5%（約30%），所有6項任務均偏向Edgee，配對符號檢驗p=0.031，具有統計顯著性。自助法95%置信區間為[0.41×, 0.84×]，排除無效應情況。實驗設計嚴謹，包括任務內隨機化、每重複試驗新增隨機數以防止快取干擾，以及從Claude Code的JSONL日誌直接讀取令牌使用資料。統計方法採用低假設的符號檢驗以應對偏態分佈，自助法估計效應大小，並監控組內變異係數以確保低噪聲。

Compressor V2透過保留字首快取來最大化效益。由於簡潔輸出和工具結果修剪僅影響輸出，不改變字首，因此字首快取完全保留，Anthropic的快取讀取費用降至十分之一。工具表面縮減則最佳化工具目錄的重複部分，進一步減少輸入令牌。儘管文章僅展示了簡潔輸出的詳細結果，但整體V2堆疊預計透過三層累加實現接近50%的成本降低。Edgee AI計劃釋出更多關於TSR和工具結果修剪的基準資料。該壓縮層是Edgee AI閘道器的一部分，可透過API金鑰獨立配置，為AI產品提供可持續的經濟模型。