一次重写就够了：生产环境技能描述优化的实证经验

在人工智能代理（Agent）系统中，当代理需要将用户查询路由到多个专业化的技能时，它通常依赖自然语言技能描述来匹配查询。然而，当两个技能的描述存在重叠时，路由LLM可能会将查询错误地分配给不合适的技能，这种现象被称为技能碰撞（skill collision）。随着代理系统扩展至数十个技能，手动调整这些描述以保持路由准确性成为了一个显著的工程瓶颈，消耗大量人力和时间。

为了应对这一挑战，来自多所机构的研究人员在一款生产环境的企业群组聊天代理上部署了一套自动化描述优化管线。该代理涉及9个技能和372个回归测试案例。实验结果显示，该管线生成的描述平均F1分数为79.2%，而由人类专家手动调整的描述得分为79.4%，两者之间的平均差异仅为-0.20%，并且这个差异低于0.78%的多种子随机噪声基线。更令人瞩目的是，自动化管线将每个技能的工程耗时从120分钟大幅压缩至3.8分钟，实现了超过32倍的效率提升。

然而，这项研究的核心贡献在于揭示了是什么驱动了这种性能匹配。研究团队在生产系统和包含16,000个工具的ToolBench基准上进行了系统的消融实验。结果出乎意料：最简单的干预——仅需一次LLM重写，利用任何可用的假阳性（false-positive）和假阴性（false-negative）案例——就捕获了绝大部分可获得的改进。其他设计选择，例如迭代预算、反馈信号的构成、对混淆对的双重编辑以及训练集大小，对最终F1分数的影响均低于0.5%。这意味着，在实际部署中，工程师只需收集误报和漏报案例，让LLM基于这些案例重写一次技能描述，即可获得与手动调优几乎相同的效果。

但研究也指出了这种方法的局限性。描述优化只能解决因描述重叠导致的技能碰撞，而无法解决两个技能本身意图范围存在真正重叠的情况。对于后者，任何文本层面的调整都是徒劳的。研究人员因此提出了一种诊断方法：当训练集和验证集之间的F1分数差距较大时，表明问题可能源于技能范围的真正重叠，需要架构层面的干预（例如重新设计技能划分或合并技能），而非继续优化描述文本。

这项研究为大规模AI代理系统的技能管理提供了实用指导，强调了简单重写策略的强大效能，同时清晰界定了其适用边界。对于正在构建或维护多技能AI代理的工程团队来说，这意味着可以显著减少技能描述调整的人力成本，同时保持较高的路由准确性，只需在遇到特定诊断信号时考虑更根本的架构调整。