LLM智能體系統中技能的規模定律
一項研究揭示了LLM智能體系統中技能庫規模的縮放定律：路由誤差隨庫大小對數增長，而正確執行可改善下游決策。通過優化，路由準確率從71.3%提升至91.7%，任務通過率顯著提升。
近日，一篇發表在arXiv上的研究論文《The Scaling Laws of Skills in LLM Agent Systems》系統探討了LLM智能體系統中技能庫的規模定律。該研究由Charles Chen等15位作者共同完成，通過對15個前沿LLM、1141個真實世界技能以及超過300萬次路由或執行決策的分析，揭示了兩條相互耦合的定律，為設計和優化大規模智能體系統提供了理論基礎。
首先，路由定律指出，單步路由的準確率隨着技能庫規模的增大而對數衰減，在所有模型上的擬合優度R²均高於0.97。隨着技能庫變大，錯誤模式經歷了三個階段：最初是局部技能之間的競爭，然後演變為跨技能家族的漂移，最終被過於通用的“黑洞技能”捕獲——這些技能雖然泛化能力強，但往往導致錯誤的路由選擇。這一發現揭示了為什麼簡單地增加技能數量反而會降低系統性能。
其次，執行定律表明，在狀態實現之前，聯合路由近似滿足乘法關係，即路由和執行是耦合的。重要的是，正確的執行可以將困難的下游決策準確率提升約4倍，這意味着在執行階段糾正路由錯誤是可行的。一個關鍵參數——路由對數衰減速率的斜率b——同時控制着這兩條定律：通過路由側的擬合可以預測執行側的挽救效果，説明相同的庫屬性既影響執行前的崩潰也影響下游的可恢復性。
基於這些定律的優化方法將保留路由準確率從71.3%提升至91.7%，劫持率從22.4%降低至4.1%，並在下游ClawBench和ClawMark執行任務中表現出正向遷移，平均通過率分別從49.3%提升至61.6%和從28.4%提升至34.5%。這些改進表明，通過優化技能庫的結構、粒度和曝光策略，可以顯著提升智能體系統的整體性能。
這項研究強調，智能體的性能不僅依賴於模型本身的能力，還深深受到技能庫的組織方式的影響。對於AI工程師和系統設計者來説，這意味着在構建大規模智能體系統時，需要仔細考慮技能庫的設計，包括如何定義技能粒度、如何組織技能家族以及如何曝光技能給路由機制。這些發現為未來開發更高效、更可靠的智能體系統提供了重要的指導。