讓Claude Code像穴居人一樣説話可能節省不了你想象的那麼多token
開發者們正密切關注AI編碼工具的運行成本。一種被稱為“穴居人模式”的方法——通過讓AI用簡短、無語法的方式回答來減少token消耗——聲稱能節省65%的輸出token。但JetBrains的基準測試發現,在實際編碼任務中,節省率僅為約8.5%,且回答質量沒有下降。
開發者們正越來越關注他們的AI編碼工具的運行成本,這是有充分理由的。GitHub最近將Copilot改為基於使用的計費模式,與所選模型掛鈎;與此同時,一家AI代理初創公司表示,從Anthropic切換到DeepSeek將為其節省數百萬美元。
在此背景下,開發者們一直在尋找減少token消耗的方法,特別是通過減少AI回覆中的無用填充和廢話。最終目標是讓代理儘可能直接地回答,用盡可能少的詞語,而不丟失任何實質內容。這種方法被稱為“穴居人模式”——放棄冠詞和語法,代之以簡短、粗魯的片段,如同老式情景喜劇和卡通片中刻板的咕噥穴居人風格。
實際上,一些開發者可能會從htmx創建者Carson Gross的長篇軟件設計論文《The Grug Brained Developer》中認出這種風格,該論文完全以同樣破碎、粗魯的風格寫成。但這一次,目標不是代碼複雜性,而是AI回覆的冗長。
“技能讓代理像穴居人一樣説話”
這個想法以不同形式出現。企業搜索巨頭Elastic為其Elasticsearch構建了自己的版本,報告在八個內部測試場景中平均token減少63.6%。Elastic的Salesforce工程總監Sri Kolagani表示,LLM包裹在答案周圍的對話填充在查詢Elasticsearch時帶來了實際成本,而你真正需要的是索引名稱、字段映射和ES|QL查詢,而不是客套話。
“這不僅僅是煩人;它很昂貴。每個token都耗費金錢並增加延遲。對於生產Elasticsearch查詢,這種開銷會迅速累積。”
然而,真正走紅的工具是GitHub上一個免費的、可安裝的Claude Code技能,由荷蘭開發者Julius Brussee構建。它獲得了數萬顆星和復刻,並在Hacker News等在線社區引發了首頁討論。
它的宣傳語用穴居人自己的語言寫道:“技能讓代理像穴居人一樣説話。為什麼用很多token當少數就能做到?填充詞死掉。代碼、命令保持字節精確。”
其頭條聲稱是:減少65%的輸出token。
穴居人説話的節省,接受測試
JetBrains,這家推出IntelliJ和Rider等IDE的公司,決定測試這一具體技能,而不是僅僅相信其65%的節省聲明。
使用開源代理評估框架Harbor和社區基準SkillsBench(用於衡量AI代理技能的實際幫助),JetBrains工程師Denis Shiryaev告訴The New Stack,他們在Claude Code上對86個真實編碼任務進行了配對基準測試,比較了技能激活與未修改的常規會話。
聲稱與結果之間的差距相當顯著。宣傳節省:65%。JetBrains實際測量的結果:8.5%,而且這個數字只有在測試規模擴大後才成立。實際上,最初僅對10個任務的運行顯示節省約為30%。
差距最終歸結為該技能在實際編碼項目中能處理什麼不能處理什麼,與它的頭條數字所衡量的那種隨意聊天交互相比。
“宣傳的節省來自於聊天風格的散文式回答。代理輸出是不同的,”Shiryaev説,他指出代碼、差異、工具調用和精確的錯誤字符串主導了token流,而這些技能原封不動地保留。“只有工具調用之間的敍述被壓縮,而且這樣的敍述並不多,”他補充道。
像穴居人一樣説話會讓Claude變笨嗎?
當該技能首次走紅時,這個擔憂幾乎立即出現,Reddit上的評論者擔心強迫AI模型以 stripped-down、更不清晰的模式回答可能會損害其推理能力。
JetBrains的基準測試表明這種擔憂並不成立,至少在他們測試的任務中如此。在86個配對運行中,技能激活和常規會話之間的任務結果在統計上無法區分。
Shiryaev對穴居人模式的總體評價是:“安全、對風格誠實,但在節省方面過度宣傳。”
“如果你喜歡就用它,”Shiryaev説。“它很有趣,而且不會帶來可衡量的質量損失。只是不要期望在日常代理任務上節省大量token:高個位數百分比是現實的上限。”