Claude Code の Ponytail スキル：エージェントコードを本当に54%削減できるのか？

JetBrains はブログで、Claude Code の Ponytail スキルに関する厳格な A/B ベンチマークテストの結果を公開しました。このスキルは、AI エージェントがより少ないコードを書くように設計されており、「経験豊富な開発者が50行を1行に置き換える」という考え方に基づいています。例えば、日付ピッカーの実装を要求された場合、Ponytail はモデルに「その機能は本当に必要か？コードベースに既に実装はないか？標準ライブラリやネイティブプラットフォームで実現できないか？」と問いかけ、最後に最小限の動作コードを書くよう促します。ただし、検証、エラー処理、セキュリティ、アクセシビリティは明示的に削減対象から除外されています。

テストには JetBrains の SkillsBench ベンチマークが使用され、80ペアのタスクが Docker サンドボックス内で実行され、自動採点システム（0-1点、部分点あり）で評価されました。片方のアームは標準の Claude Code、もう片方には Ponytail スキル v4.8.4 をインストールし、そのルールセットを注入しました。合計251回のエージェント試行が行われ、総コストは246.09ドルでした。研究チームは方法論の厳密性を強調しており、Ponytail 自身のフックが生成する指示テキストを直接使用し、各試行後にルールセットが確実にモデルに届いたことを監査しています。

主な発見は以下の通りです。第一に、Ponytail スキルは Claude Code で自動的にアクティブになりません。スキルフォルダにインストールしてもモデルはそれを呼び出さないため、プラグイン機構（SessionStart フック）によるルールセットの注入が必須です。第二に、実際のコード削減量は宣伝値の約3分の1でした。80ペアのタスク全体では、コード行数が10,205行から8,756行に減少（15.4%削減）しましたが、p値は0.088と統計的有意性は弱いものです。第三に、コード削減の効果はベースラインコード量が多いタスクに集中しています。大規模な構築タスクでは削減率が31%に達する一方、ベースラインが既に最小限のタスクでは変化はほぼゼロでした。研究者は、いくつかのタスクで Ponytail がコードをファイルとして保存し、通常のエージェントがインラインのheredocで実行したためにカウントの偏りが生じたと指摘していますが、その影響は2%未満としています。

第四に、コスト削減は統計的に有意でした。典型的なタスクのコストは10.3%低下（p=0.004）、80ペア中46ペアで安くなり、34ペアで高くなりました。これはこのシリーズで初めての確かなコスト削減シグナルです。ただし、削減幅の分布は広く、中央値のブートストラップ信頼区間がゼロに接するため、「約10%安い」という表現は妥当ですが、「10%削減できる」とは言えません。トークン削減は出力側（書き込みトークン）で生じ、入力側（履歴再読み込みや新鮮トークン）では有意な変化は見られませんでした。

第五に、品質に検出可能な差は見られませんでした。自動採点では、9タスクがわずかに悪化、6タスクがわずかに改善、65タスクが同一であり、統計的に区別できません。研究チームは、この結果が安全証明ではなく、テスト規模では小さな劣化を除外できないと注意を促していますが、明らかな障害モードは観察されませんでした。

総合すると、Ponytail スキルはコード量とコストの削減に一定の効果を示しますが、宣伝値には及びません。その価値は、AI 生成コードを削減したい開発者に実用的なツールを提供することにありますが、実際の節約量はタスクとベースラインコードの複雑さに大きく依存します。