Claude Codeを原始人語で喋らせても、思ったほどトークンは節約できない

開発者は、AIコーディングツールの実行コストにこれまで以上に注目している。GitHubは最近、Copilotを選択したモデルに連動した使用量ベースの課金に移行し、一方であるAIエージェントスタートアップはAnthropicからDeepSeekに切り替えることで数百万ドルを節約できると述べている。

こうした背景から、開発者はAIの応答から無駄な埋め草やパディングを削減することでトークン消費を抑える方法を模索してきた。最終的な目標は、エージェントに可能な限り直接的に、できるだけ少ない言葉で、しかも内容を損なわずに回答させることだ。これは「原始人モード」として知られるようになった。冠詞や文法を捨て、昔のコメディ番組やアニメのステレオタイプな原始人のように、短くぶっきらぼうな断片で答えるスタイルである。

実際、このスタイルに気づいた開発者もいるだろう。htmxの作成者Carson Grossによるソフトウェア設計に関する長文エッセイ「The Grug Brained Developer」は、すべて同じように壊れたぶっきらぼうなスタイルで書かれている。だが今回は、標的はコードの複雑さではなく、AIの応答の冗長さだ。

「スキルがエージェントを原始人のように喋らせる」

このアイデアは様々な形で浮上している。企業検索大手のElasticはElasticsearch用に独自のバージョンを構築し、8つの内部テストシナリオで平均63.6%のトークン削減を報告した。ElasticのSalesforceエンジニアリングディレクターであるSri Kolagani氏は、LLMが回答を包む会話的なパディングには実際のコストが伴い、Elasticsearchにクエリを投げる際に本当に必要なのはインデックス名、フィールドマッピング、ES|QLクエリであって、愛想の良い言葉ではないと述べた。

「これは単にうっとうしいだけでなく、高くつく。すべてのトークンはコストがかかり、レイテンシを増加させる。本番のElasticsearchクエリでは、そのオーバーヘッドは急速に拡大する。」

しかし、本当に話題になったのは、オランダの開発者Julius Brussee氏が作成した、GitHub上の無料でインストール可能なClaude Codeスキルだった。数万のスターとフォークを集め、Hacker Newsなどのオンラインコミュニティでトップページの議論を巻き起こした。

その売り文句は、原始人の言葉でこう書かれている。「スキルはエージェントを原始人のように喋らせる。なぜ多くのトークンを使うのか、少しで十分なのに。埋め草は死ぬ。コード、コマンドはバイト正確のまま。」

そして見出しの主張は？出力トークンの65%削減である。

原始人語の節約効果をテスト

IntelliJやRiderなどのIDEを提供するJetBrainsは、この特定のスキルを額面通りに受け取るのではなく、テストすることにした。

オープンソースのエージェント評価フレームワークHarborと、AIエージェントスキルの実際の効果を測定するために構築されたコミュニティベンチマークSkillsBenchを使用して、JetBrainsのエンジニアDenis Shiryaev氏はThe New Stackに対し、Claude Code上で86の実際のコーディングタスクをペアでベンチマークし、スキルを有効にしたセッションと標準の未変更セッションを比較したと語った。

主張と結果の差は小さくなかった。宣伝された節約率：65%。JetBrainsが実際に測定した値：8.5%。この数字はテストが拡大されて初めて成り立った。実際、最初の10タスクだけの実行では30%近い節約が示されていた。

不足の原因は、結局のところ、スキルが実際のコーディングプロジェクトで何を処理でき、何を処理できないかにある。その見出しの数字が測定されたのは、カジュアルなチャットボットのやり取りに対してだった。

「宣伝された節約はチャット形式の散文的な回答から来ている。エージェントの出力は違う」とShiryaev氏は言う。コード、差分、ツール呼び出し、正確なエラー文字列がトークンストリームを支配しており、スキルはこれらをそのまま残す。「ツール呼び出しの間のナレーションだけが圧縮されるが、その量は多くない」と彼は付け加えた。

原始人のように話すとClaudeは馬鹿になるのか？

このスキルが最初に話題になったとき、ほとんど即座に懸念が浮上した。Redditのコメント投稿者は、AIモデルに簡略化された不明瞭な話し方を強制すると、その推論能力に悪影響が出るのではないかと懸念した。

JetBrainsのベンチマークは、少なくともテストしたタスクに関しては、その懸念は当たらないことを示している。86のペア実行全体で、スキル有効セッションと標準セッションのタスク結果は統計的に区別できなかった。

Shiryaev氏の原始人モードに対する全体的な評決は、「安全で、スタイルについて正直だが、節約効果は誇張されている」というものだった。

「気に入ったら使ってください」とShiryaev氏は言う。「楽しいし、品質に測定可能な損失はありません。ただし、日常のエージェントタスクで大きな節約を期待してはいけません。高い一桁のパーセンテージが現実的な上限です。」