透過互動統一解釋大型語言模型知識蒸餾的方法
本文提出了一種統一的方法來解釋大型語言模型（LLM）中知識蒸餾（KD）的機制。透過將輸出分解為多個互動，發現KD的共性機制是互動稀疏化，即學生模型保留更少互動進行推理。效能差異源於處理複雜互動的能力，並據此提出了複雜互動懲罰（CIP）損失函式。實驗表明CIP能持續提升各種KD方法的效能。
儘管知識蒸餾（KD）在大型語言模型（LLM）中取得了顯著成功，但其背後的機制卻始終未能完全闡明。近日，一篇發表在arXiv上的論文提出了一種統一的方法，透過“互動”這一概念來探索各種知識蒸餾方法的共性機制。研究團隊將大型語言模型的輸出分數分解為大量互動的總和，每個互動代表一組輸入變數（例如單詞）之間的非線性關係。這種方法為理解模型內部運作提供了全新的視角。
基於這種分解，研究人員發現了一個關鍵現象：所有知識蒸餾方法都共同具備一種機制，即“互動的稀疏化”。具體來說，學生模型在推理時只會保留少量的互動，而將其他互動的效果抑制為零。這意味著蒸餾過程本質上是在引導學生模型學習更簡潔的決策依據。
進一步的研究揭示，不同蒸餾方法之間的效能差異主要源於它們處理複雜互動的能力。複雜互動涉及更多的輸入變數和更高階的非線性關係。研究發現，如果一種蒸餾方法能讓學生模型實現更高的複雜互動稀疏性，即更少地依賴複雜互動進行推理，那麼其效能通常會更優。這一發現為蒸餾方法的效能最佳化提供了明確的方向。
受這些洞察的啟發，研究人員提出了一種即插即用的損失函式——複雜互動懲罰（CIP）。該函式在蒸餾過程中顯式地懲罰複雜互動的使用，強制模型實現更高的稀疏性。大量實驗表明，將CIP整合到現有的知識蒸餾方法中，能夠在域內和分佈外基準測試上持續提升效能，驗證了其有效性和通用性。
這項研究不僅深化了我們對知識蒸餾機制的理解，還提供了一個實用的工具來改進蒸餾過程。對於從事模型壓縮和部署的研究者與工程師而言，這一工作具有重要的參考價值。未來，基於互動的分析方法或許還能推廣到其他模型行為的研究中。