Claude Code 的 Ponytail 技能：真的能减少 54% 的代码吗？

JetBrains 在其博客上发表了一篇测试报告，对 Claude Code 的 Ponytail 技能进行了严格的 A/B 基准测试。该技能的设计初衷是让 AI 代理编写更少的代码，其核心思想是：一位经验丰富的开发者可以用一行代码替代五十行。例如，当要求实现一个日期选择器时，Ponytail 技能会引导模型思考是否真的需要这个功能、代码库中是否已有实现、标准库或原生平台特性是否足够，最后才编写最简可行的代码。值得注意的是，验证、错误处理、安全性和可访问性等关键方面被明确排除在“可削减”范围之外。

测试使用了 JetBrains 的 SkillsBench 基准，包含 80 对任务，每个任务都在 Docker 沙箱中运行，并采用自动评分系统（0-1 分制，支持部分得分）。其中一组运行标准的 Claude Code，另一组安装了 Ponytail 技能 v4.8.4 并注入了其规则集。测试共涉及 251 次代理试验，总成本为 246.09 美元。研究团队特别强调了方法论上的严谨性：他们直接使用了 Ponytail 自身 hook 生成的指令文本，确保规则集与官方插件一致，并在每次试验后审计确认规则集确实被模型接收到。

测试的主要发现包括：第一，Ponytail 技能在 Claude Code 中不会自动激活。即使在技能文件夹中安装了它，模型也不会主动调用，这意味着用户必须通过插件机制（SessionStart hook）来注入规则集才能获得效果。第二，实际代码减少量约为宣传值的三分之一。在 80 对任务中，典型任务减少了 15.4% 的代码（从 10,205 行降至 8,756 行），但 p 值为 0.088，统计显著性较弱。第三，代码节省主要集中在基线代码量大的任务上：对于大型构建任务，代码减少可达 31%；而对于基线代码本来就很少的任务，变化几乎为零。研究人员发现，在某些任务中，Ponytail 生成了更多的持久化代码（如将脚本写入文件），而普通代理则通过内联 heredoc 即时执行，这导致计数偏差，但影响不足 2%。

第四，成本节省具有统计显著性。典型任务成本降低 10.3%（p=0.004），在 80 对任务中有 46 对更便宜、34 对更贵。这是该系列测试中首个稳健的成本节省信号。然而，节省幅度的分布较宽，中位数的自助置信区间刚刚触及零，因此“大约 10% 更便宜”是合理的，但“节省 10%”的说法则不够准确。有趣的是，令牌节省主要集中在输出端（写入的令牌），而输入端（读取历史记录和新鲜令牌）的节省并不显著，这与之前对 rtk 工具的测试结果形成对比。

第五，未检测到质量差异。在自动评分中，9 个任务得分略低，6 个略高，65 个完全相同，统计上无法区分。但研究人员谨慎指出，这一结果并非证明无负面影响，因为测试规模不足以排除微小退化，只是未发现明显的失败模式。

总体而言，Ponytail 技能在减少代码和成本方面有一定效果，但远低于宣传数字。其最大价值在于为那些希望减少 AI 生成代码量的开发者提供了一个可用的工具，但实际节约取决于具体任务和基线代码的复杂程度。