AI News HubLIVE
站內改寫2 分鐘閱讀

讓Claude Code像穴居人一樣說話可能節省不了你想象的那麼多token

開發者們正密切關注AI編碼工具的執行成本。一種被稱為“穴居人模式”的方法——透過讓AI用簡短、無語法的方式回答來減少token消耗——聲稱能節省65%的輸出token。但JetBrains的基準測試發現,在實際編碼任務中,節省率僅為約8.5%,且回答質量沒有下降。

來源The New Stack AI作者: Paul Sawers

開發者們正越來越關注他們的AI編碼工具的執行成本,這是有充分理由的。GitHub最近將Copilot改為基於使用的計費模式,與所選模型掛鉤;與此同時,一家AI代理初創公司表示,從Anthropic切換到DeepSeek將為其節省數百萬美元。

在此背景下,開發者們一直在尋找減少token消耗的方法,特別是透過減少AI回覆中的無用填充和廢話。最終目標是讓代理儘可能直接地回答,用盡可能少的詞語,而不丟失任何實質內容。這種方法被稱為“穴居人模式”——放棄冠詞和語法,代之以簡短、粗魯的片段,如同老式情景喜劇和卡通片中刻板的咕噥穴居人風格。

實際上,一些開發者可能會從htmx建立者Carson Gross的長篇軟體設計論文《The Grug Brained Developer》中認出這種風格,該論文完全以同樣破碎、粗魯的風格寫成。但這一次,目標不是程式碼複雜性,而是AI回覆的冗長。

“技能讓代理像穴居人一樣說話”

這個想法以不同形式出現。企業搜尋巨頭Elastic為其Elasticsearch構建了自己的版本,報告在八個內部測試場景中平均token減少63.6%。Elastic的Salesforce工程總監Sri Kolagani表示,LLM包裹在答案周圍的對話填充在查詢Elasticsearch時帶來了實際成本,而你真正需要的是索引名稱、欄位對映和ES|QL查詢,而不是客套話。

“這不僅僅是煩人;它很昂貴。每個token都耗費金錢並增加延遲。對於生產Elasticsearch查詢,這種開銷會迅速累積。”

然而,真正走紅的工具是GitHub上一個免費的、可安裝的Claude Code技能,由荷蘭開發者Julius Brussee構建。它獲得了數萬顆星和復刻,並在Hacker News等線上社群引發了首頁討論。

它的宣傳語用穴居人自己的語言寫道:“技能讓代理像穴居人一樣說話。為什麼用很多token當少數就能做到?填充詞死掉。程式碼、命令保持位元組精確。”

其頭條聲稱是:減少65%的輸出token。

穴居人說話的節省,接受測試

JetBrains,這家推出IntelliJ和Rider等IDE的公司,決定測試這一具體技能,而不是僅僅相信其65%的節省宣告。

使用開源代理評估框架Harbor和社群基準SkillsBench(用於衡量AI代理技能的實際幫助),JetBrains工程師Denis Shiryaev告訴The New Stack,他們在Claude Code上對86個真實編碼任務進行了配對基準測試,比較了技能啟用與未修改的常規會話。

聲稱與結果之間的差距相當顯著。宣傳節省:65%。JetBrains實際測量的結果:8.5%,而且這個數字只有在測試規模擴大後才成立。實際上,最初僅對10個任務的執行顯示節省約為30%。

差距最終歸結為該技能在實際編碼專案中能處理什麼不能處理什麼,與它的頭條數字所衡量的那種隨意聊天互動相比。

“宣傳的節省來自於聊天風格的散文式回答。代理輸出是不同的,”Shiryaev說,他指出程式碼、差異、工具呼叫和精確的錯誤字串主導了token流,而這些技能原封不動地保留。“只有工具呼叫之間的敘述被壓縮,而且這樣的敘述並不多,”他補充道。

像穴居人一樣說話會讓Claude變笨嗎?

當該技能首次走紅時,這個擔憂幾乎立即出現,Reddit上的評論者擔心強迫AI模型以 stripped-down、更不清晰的模式回答可能會損害其推理能力。

JetBrains的基準測試表明這種擔憂並不成立,至少在他們測試的任務中如此。在86個配對執行中,技能啟用和常規會話之間的任務結果在統計上無法區分。

Shiryaev對穴居人模式的總體評價是:“安全、對風格誠實,但在節省方面過度宣傳。”

“如果你喜歡就用它,”Shiryaev說。“它很有趣,而且不會帶來可衡量的質量損失。只是不要期望在日常代理任務上節省大量token:高個位數百分比是現實的上限。”