エージェントに原始人のように話しかけるとトークンを65%節約できる？検証しました

JetBrainsは、「Caveman」と呼ばれるAIエージェント用スキルについて、厳格なペアA/Bテストを実施しました。このスキルは、エージェントを原始人のように話させることで、最大65%のトークン節約を謳っています。しかし、テスト結果は宣伝された数字をはるかに下回り、タスク品質への影響はほとんどないことが示されました。

テスト環境はJetBrainsのHarnessHarbor 0.17サンドボックス、エージェントはClaude Code 2.1.200、モデルはclaude-sonnet-5（低推論努力）を使用。ベンチマークはSkillsBenchの86タスクで、各タスクは自動テストで採点（0-1点）。実験はスキルなしのグループAと、スキルを強制有効化したグループBに分かれ、計3回の実行、約240の課金試行、総費用約106米ドルでした。

発見1：トークン節約は約8.5%であり、65%ではない

宣伝された65%の節約はチャット形式の散文を想定したものです。エージェントの出力は主にコード、差分、ツール呼び出し、エラー文字列であり、Cavemanはこれらをそのまま保持します。節約されるのはツール呼び出し間のナレーション部分のみで、その割合は小さい。強制有効化時、出力トークン節約は約8.5%（592kから542k）に収束し、広告の65%には遠く及びません。

発見2：品質低下は検出されず

全82のペアタスクにおいて、両グループの性能は統計的に区別できませんでした。符号検定のp値は0.82で、有意差はありません。平均タスクスコアはベースライン0.326、スキル群0.311で、差はわずか0.015。スキルはスタイル変換を正確に行い、コード成果物はそのまま維持されました。

発見3：コスト節約は現実的だが脆弱

コスト節約はトークン節約とほぼ一致し、約10%でした。しかし、完全実行ではスキル群が11.6%高コスト（40.60ドル対36.39ドル）となり、これは1つの外れ値タスクに起因します：依存関係監査タスクが長期コンテキスト料金帯に達し、スキル群で8.29ドル、ベースライン群で0.33ドルでした。コスト節約は単一試行の変動によって容易に打ち消されます。

結論

Cavemanスキルは安全で、スタイルを正直に変更しますが、節約効果は過大宣伝されています。強制有効化時、エージェントの話し方を確実に変更し、タスク結果への測定可能な損害はありません。しかし、実際のエージェント作業では、出力トークンを約8.5%、コストを約10%削減するのが上限であり、支配的なトークンはコードとツール呼び出しであり、スキルはこれらを意図的に保持するためです。宣伝された65%はチャット形式のQ&Aに適用され、コーディングエージェントには該当しません。推奨：スタイルが気に入れば使用しても構いません。楽しく、品質を損なうことはありません。しかし、日常的なエージェントタスクで大きな節約を期待しないでください。一桁台後半のパーセンテージが現実的な上限です。