通過交互統一解釋大型語言模型知識蒸餾的方法
本文提出了一種統一的方法來解釋大型語言模型（LLM）中知識蒸餾（KD）的機制。通過將輸出分解為多個交互，發現KD的共性機制是交互稀疏化，即學生模型保留更少交互進行推理。性能差異源於處理複雜交互的能力，並據此提出了複雜交互懲罰（CIP）損失函數。實驗表明CIP能持續提升各種KD方法的性能。
儘管知識蒸餾（KD）在大型語言模型（LLM）中取得了顯著成功，但其背後的機制卻始終未能完全闡明。近日，一篇發表在arXiv上的論文提出了一種統一的方法，通過“交互”這一概念來探索各種知識蒸餾方法的共性機制。研究團隊將大型語言模型的輸出分數分解為大量交互的總和，每個交互代表一組輸入變量（例如單詞）之間的非線性關係。這種方法為理解模型內部運作提供了全新的視角。
基於這種分解，研究人員發現了一個關鍵現象：所有知識蒸餾方法都共同具備一種機制，即“交互的稀疏化”。具體來説，學生模型在推理時只會保留少量的交互，而將其他交互的效果抑制為零。這意味着蒸餾過程本質上是在引導學生模型學習更簡潔的決策依據。
進一步的研究揭示，不同蒸餾方法之間的性能差異主要源於它們處理複雜交互的能力。複雜交互涉及更多的輸入變量和更高級的非線性關係。研究發現，如果一種蒸餾方法能讓學生模型實現更高的複雜交互稀疏性，即更少地依賴複雜交互進行推理，那麼其性能通常會更優。這一發現為蒸餾方法的性能優化提供了明確的方向。
受這些洞察的啓發，研究人員提出了一種即插即用的損失函數——複雜交互懲罰（CIP）。該函數在蒸餾過程中顯式地懲罰複雜交互的使用，強制模型實現更高的稀疏性。大量實驗表明，將CIP集成到現有的知識蒸餾方法中，能夠在域內和分佈外基準測試上持續提升性能，驗證了其有效性和通用性。
這項研究不僅深化了我們對知識蒸餾機制的理解，還提供了一個實用的工具來改進蒸餾過程。對於從事模型壓縮和部署的研究者與工程師而言，這一工作具有重要的參考價值。未來，基於交互的分析方法或許還能推廣到其他模型行為的研究中。