近年來，基於大型語言模型（LLM）的智慧體系統在多個領域得到了廣泛應用。這類系統通常依賴“技能”（skills）——預定義的功能模組——來完成特定任務。在現有框架中，技能往往以上下文指導的形式被注入到智慧體的推理迴圈中：一旦執行時任務匹配到某個技能，該技能的完整描述便被送入模型，由模型進行推理和規劃。然而，這種執行正規化存在兩個顯著的冗餘問題。首先，無關上下文的注入：與當前任務無關的技能內容也被一併輸入，浪費了令牌預算。其次，重複的技能特定推理：每當任務觸發技能時，模型都需要重新進行類似的推理步驟，導致不必要的計算開銷。
為了解決這些效率瓶頸，來自研究團隊的Duling Xu等人提出了SkillSmith——一種邊界優先的編譯-執行時框架。該框架的核心思想是：在離線階段對技能包進行深度分析，提取其中細粒度的操作邊界（例如輸入輸出規範、依賴關係、執行條件），然後將整個技能包編譯為一個最小的可執行介面。這個介面只暴露與當前任務直接相關的操作，而隱藏了其他冗餘內容。在執行時，智慧體不再需要載入完整的技能描述，而是根據任務需求動態地訪問並執行介面中的相關元件。這一設計極大地壓縮了每次推理所需的上下文長度，並消除了重複的推理步驟。
研究團隊在專門構建的SkillsBench基準上對SkillSmith進行了全面評估。與直接使用原始技能的標準方法相比，SkillSmith在求解階段實現了多項效率提升：令牌使用量減少了57.44%，思考迭代次數降低了42.99%，求解時間縮短了50.57%（即速度提升2.02倍），與令牌相關的貨幣成本也下降了57.44%。這些資料充分證明了SkillSmith在降低推理開銷方面的巨大潛力。
更值得關注的是，SkillSmith的編譯製品具有跨模型複用的特性。由較強模型（如GPT-4級別的模型）生成的編譯介面，可以被更小或更高效的執行時模型直接使用。在某些場景中，當原始技能的解釋失敗時，複用編譯製品甚至能夠提升任務的準確率。這一特性為不同規模模型之間的協作開闢了新的可能性，意味著企業可以在推理時使用成本更低的模型，同時保持甚至提升效果。
SkillSmith的相關論文已發表在arXiv上，原始碼和資料集也已透過GitHub開源。這項工作不僅為降低LLM智慧體的推理成本提供了切實可行的解決方案，也為未來構建更高效、更靈活的智慧體系統奠定了重要的基礎。研究者表示，下一步將探索將該框架應用於更復雜的多技能協作場景，並進一步提升編譯階段的自動化程度。