在人工智能領域,智能語言模型需要學會何時調用工具、何時處理工具響應以及何時直接回答。這使得多教師同策略蒸餾成為一種自然的訓練策略:一個教師專門負責工具調用,另一個教師負責直接回答,學生模型則在其自身生成分佈上向兩者學習。然而,最新研究顯示,這種策略可能引發一種從聚合損失中無法察覺的行為偏移。
在雙教師工具使用場景中,標準的廣義知識蒸餾雖然提高了工具調用召回率,但也導致模型過度調用——即對於那些本應直接回答的樣本,模型卻調用了工具。研究人員發現,聚合解釋並不充分:工具調用樣本並未獲得更多令牌曝光,且全序列逐令牌發散對工具調用教師來説也不更大。
團隊轉而分析行為槓桿不平衡:在模式入口和結構位置(如特殊標記和函數名)上的局部令牌級信號,可能對全局生成模式產生不成比例的影響。基於此,他們提出了Soft Clamp方法,這是一種逐令牌發散校準技術,能夠動態壓縮極端令牌級傑森-香農散度,同時保留非零梯度。
在APIGen-MT基準測試上,Soft Clamp將過度調用率從13.7%降低到9.0%,同時保持了與原始方法相當的決策準確性。在BFCL多輪診斷中,它相比其他廣義知識蒸餾變體,還減少了工具調用循環和重複調用次數。
這些結果表明,多教師同策略蒸餾不僅應關注教師信號的整體大小,更需監控其作用位置。Soft Clamp提供了一種有效的校準手段,有助於構建更可靠的智能語言代理系統。該研究由Jiabin Shen等人完成,論文於2026年7月8日提交至arXiv,包含17頁正文及附錄、6張圖表。