跳到主要內容
AI News HubLIVE
更多
站內改寫1 分鐘閱讀

多教師同策略蒸餾中的行為槓桿不平衡

文章摘要

該研究分析了多教師同策略蒸餾在工具呼叫場景中導致過度呼叫的問題,並提出Soft Clamp方法,透過逐令牌發散校準減少過度呼叫,同時保持決策準確性。

來源arXiv Computational Linguistics作者: Jiabin Shen, Guang Chen, Chengjun Mao
多教師同策略蒸餾中的行為槓桿不平衡
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在人工智慧領域,智慧語言模型需要學會何時呼叫工具、何時處理工具響應以及何時直接回答。這使得多教師同策略蒸餾成為一種自然的訓練策略:一個教師專門負責工具呼叫,另一個教師負責直接回答,學生模型則在其自身生成分佈上向兩者學習。然而,最新研究顯示,這種策略可能引發一種從聚合損失中無法察覺的行為偏移。

在雙教師工具使用場景中,標準的廣義知識蒸餾雖然提高了工具呼叫召回率,但也導致模型過度呼叫——即對於那些本應直接回答的樣本,模型卻呼叫了工具。研究人員發現,聚合解釋並不充分:工具呼叫樣本並未獲得更多令牌曝光,且全序列逐令牌發散對工具呼叫教師來說也不更大。

團隊轉而分析行為槓桿不平衡:在模式入口和結構位置(如特殊標記和函式名)上的區域性令牌級訊號,可能對全域性生成模式產生不成比例的影響。基於此,他們提出了Soft Clamp方法,這是一種逐令牌發散校準技術,能夠動態壓縮極端令牌級傑森-夏農散度,同時保留非零梯度。

在APIGen-MT基準測試上,Soft Clamp將過度呼叫率從13.7%降低到9.0%,同時保持了與原始方法相當的決策準確性。在BFCL多輪診斷中,它相比其他廣義知識蒸餾變體,還減少了工具呼叫迴圈和重複呼叫次數。

這些結果表明,多教師同策略蒸餾不僅應關注教師訊號的整體大小,更需監控其作用位置。Soft Clamp提供了一種有效的校準手段,有助於構建更可靠的智慧語言代理系統。該研究由Jiabin Shen等人完成,論文於2026年7月8日提交至arXiv,包含17頁正文及附錄、6張圖表。

展開要點與分析

文章情報

工程師中級

要點

  • 多教師同策略蒸餾可能導致語言模型在應直接回答時過度呼叫工具。
  • 標準聚合損失無法揭示隱藏的行為偏移,需要關注區域性令牌級訊號。
  • 提出的Soft Clamp方法動態壓縮極端JS散度,降低過度呼叫率從13.7%到9.0%。
  • 實驗表明Soft Clamp在BFCL多輪診斷中減少了工具呼叫迴圈和重複呼叫。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。