AI News HubLIVE
站内改写1 分钟阅读

Compressor V2:三层压缩技术将LLM智能体成本降低50%

Edgee AI发布Compressor V2,通过三层正交压缩策略(简洁输出、工具表面缩减、工具结果修剪)显著降低LLM编码智能体的运行成本。在SWE-bench Lite基准测试中,仅简洁输出策略即可实现中位数约30%的成本削减。文章详细阐述了压缩的必要性、V1到V2的演进、实验方法和统计显著性验证,展示了压缩技术在经济性、延迟、上下文窗口和吞吐量方面的综合优势。

来源Hacker News AI作者: kokakiwi

Edgee AI发布了Compressor V2,这是其AI网关中用于LLM智能体工作流的关键压缩组件。智能体,特别是编码智能体,通常运行时间长且上下文密集,单个SWE-bench任务可能消耗30-100次API调用和1-1000万令牌,导致成本快速上升。压缩技术不仅缓解经济压力,还能改善延迟、扩展上下文窗口有效长度并提升服务器吞吐量。

Compressor V2是在V1基础上的重大升级。V1仅采用工具结果修剪策略,实现约10%的成本节省。V2引入三个正交策略层:简洁输出(Brevity)针对输出令牌,工具表面缩减(TSR)针对MCP工具目录,工具结果修剪针对累积的冗长工具输出。三者可独立配置,组合使用以匹配不同工作负载。

简洁输出策略是编码任务的核心。它指示模型减少元文本(如计划叙述),直接执行工具调用和生成补丁。在SWE-bench Lite的6个代表性任务上的测试表明,该策略使中位数成本降低27.5%(约30%),所有6项任务均偏向Edgee,配对符号检验p=0.031,具有统计显著性。自助法95%置信区间为[0.41×, 0.84×],排除无效应情况。实验设计严谨,包括任务内随机化、每重复试验添加随机数以防止缓存干扰,以及从Claude Code的JSONL日志直接读取令牌使用数据。统计方法采用低假设的符号检验以应对偏态分布,自助法估计效应大小,并监控组内变异系数以确保低噪声。

Compressor V2通过保留前缀缓存来最大化效益。由于简洁输出和工具结果修剪仅影响输出,不改变前缀,因此前缀缓存完全保留,Anthropic的缓存读取费用降至十分之一。工具表面缩减则优化工具目录的重复部分,进一步减少输入令牌。尽管文章仅展示了简洁输出的详细结果,但整体V2堆栈预计通过三层累加实现接近50%的成本降低。Edgee AI计划发布更多关于TSR和工具结果修剪的基准数据。该压缩层是Edgee AI网关的一部分,可通过API密钥独立配置,为AI产品提供可持续的经济模型。