一次重寫就夠了：生產環境技能描述優化的實證經驗

在人工智能代理（Agent）系統中，當代理需要將用户查詢路由到多個專業化的技能時，它通常依賴自然語言技能描述來匹配查詢。然而，當兩個技能的描述存在重疊時，路由LLM可能會將查詢錯誤地分配給不合適的技能，這種現象被稱為技能碰撞（skill collision）。隨着代理系統擴展至數十個技能，手動調整這些描述以保持路由準確性成為了一個顯著的工程瓶頸，消耗大量人力和時間。

為了應對這一挑戰，來自多所機構的研究人員在一款生產環境的企業羣組聊天代理上部署了一套自動化描述優化管線。該代理涉及9個技能和372個迴歸測試案例。實驗結果顯示，該管線生成的描述平均F1分數為79.2%，而由人類專家手動調整的描述得分為79.4%，兩者之間的平均差異僅為-0.20%，並且這個差異低於0.78%的多種子隨機噪聲基線。更令人矚目的是，自動化管線將每個技能的工程耗時從120分鐘大幅壓縮至3.8分鐘，實現了超過32倍的效率提升。

然而，這項研究的核心貢獻在於揭示了是什麼驅動了這種性能匹配。研究團隊在生產系統和包含16,000個工具的ToolBench基準上進行了系統的消融實驗。結果出乎意料：最簡單的干預——僅需一次LLM重寫，利用任何可用的假陽性（false-positive）和假陰性（false-negative）案例——就捕獲了絕大部分可獲得的改進。其他設計選擇，例如迭代預算、反饋信號的構成、對混淆對的雙重編輯以及訓練集大小，對最終F1分數的影響均低於0.5%。這意味着，在實際部署中，工程師只需收集誤報和漏報案例，讓LLM基於這些案例重寫一次技能描述，即可獲得與手動調優幾乎相同的效果。

但研究也指出了這種方法的侷限性。描述優化只能解決因描述重疊導致的技能碰撞，而無法解決兩個技能本身意圖範圍存在真正重疊的情況。對於後者，任何文本層面的調整都是徒勞的。研究人員因此提出了一種診斷方法：當訓練集和驗證集之間的F1分數差距較大時，表明問題可能源於技能範圍的真正重疊，需要架構層面的干預（例如重新設計技能劃分或合併技能），而非繼續優化描述文本。

這項研究為大規模AI代理系統的技能管理提供了實用指導，強調了簡單重寫策略的強大效能，同時清晰界定了其適用邊界。對於正在構建或維護多技能AI代理的工程團隊來説，這意味着可以顯著減少技能描述調整的人力成本，同時保持較高的路由準確性，只需在遇到特定診斷信號時考慮更根本的架構調整。