让Claude Code像穴居人一样说话可能节省不了你想象的那么多token
开发者们正密切关注AI编码工具的运行成本。一种被称为“穴居人模式”的方法——通过让AI用简短、无语法的方式回答来减少token消耗——声称能节省65%的输出token。但JetBrains的基准测试发现,在实际编码任务中,节省率仅为约8.5%,且回答质量没有下降。
开发者们正越来越关注他们的AI编码工具的运行成本,这是有充分理由的。GitHub最近将Copilot改为基于使用的计费模式,与所选模型挂钩;与此同时,一家AI代理初创公司表示,从Anthropic切换到DeepSeek将为其节省数百万美元。
在此背景下,开发者们一直在寻找减少token消耗的方法,特别是通过减少AI回复中的无用填充和废话。最终目标是让代理尽可能直接地回答,用尽可能少的词语,而不丢失任何实质内容。这种方法被称为“穴居人模式”——放弃冠词和语法,代之以简短、粗鲁的片段,如同老式情景喜剧和卡通片中刻板的咕哝穴居人风格。
实际上,一些开发者可能会从htmx创建者Carson Gross的长篇软件设计论文《The Grug Brained Developer》中认出这种风格,该论文完全以同样破碎、粗鲁的风格写成。但这一次,目标不是代码复杂性,而是AI回复的冗长。
“技能让代理像穴居人一样说话”
这个想法以不同形式出现。企业搜索巨头Elastic为其Elasticsearch构建了自己的版本,报告在八个内部测试场景中平均token减少63.6%。Elastic的Salesforce工程总监Sri Kolagani表示,LLM包裹在答案周围的对话填充在查询Elasticsearch时带来了实际成本,而你真正需要的是索引名称、字段映射和ES|QL查询,而不是客套话。
“这不仅仅是烦人;它很昂贵。每个token都耗费金钱并增加延迟。对于生产Elasticsearch查询,这种开销会迅速累积。”
然而,真正走红的工具是GitHub上一个免费的、可安装的Claude Code技能,由荷兰开发者Julius Brussee构建。它获得了数万颗星和复刻,并在Hacker News等在线社区引发了首页讨论。
它的宣传语用穴居人自己的语言写道:“技能让代理像穴居人一样说话。为什么用很多token当少数就能做到?填充词死掉。代码、命令保持字节精确。”
其头条声称是:减少65%的输出token。
穴居人说话的节省,接受测试
JetBrains,这家推出IntelliJ和Rider等IDE的公司,决定测试这一具体技能,而不是仅仅相信其65%的节省声明。
使用开源代理评估框架Harbor和社区基准SkillsBench(用于衡量AI代理技能的实际帮助),JetBrains工程师Denis Shiryaev告诉The New Stack,他们在Claude Code上对86个真实编码任务进行了配对基准测试,比较了技能激活与未修改的常规会话。
声称与结果之间的差距相当显著。宣传节省:65%。JetBrains实际测量的结果:8.5%,而且这个数字只有在测试规模扩大后才成立。实际上,最初仅对10个任务的运行显示节省约为30%。
差距最终归结为该技能在实际编码项目中能处理什么不能处理什么,与它的头条数字所衡量的那种随意聊天交互相比。
“宣传的节省来自于聊天风格的散文式回答。代理输出是不同的,”Shiryaev说,他指出代码、差异、工具调用和精确的错误字符串主导了token流,而这些技能原封不动地保留。“只有工具调用之间的叙述被压缩,而且这样的叙述并不多,”他补充道。
像穴居人一样说话会让Claude变笨吗?
当该技能首次走红时,这个担忧几乎立即出现,Reddit上的评论者担心强迫AI模型以 stripped-down、更不清晰的模式回答可能会损害其推理能力。
JetBrains的基准测试表明这种担忧并不成立,至少在他们测试的任务中如此。在86个配对运行中,技能激活和常规会话之间的任务结果在统计上无法区分。
Shiryaev对穴居人模式的总体评价是:“安全、对风格诚实,但在节省方面过度宣传。”
“如果你喜欢就用它,”Shiryaev说。“它很有趣,而且不会带来可衡量的质量损失。只是不要期望在日常代理任务上节省大量token:高个位数百分比是现实的上限。”