通过交互统一解释大型语言模型知识蒸馏的方法
本文提出了一种统一的方法来解释大型语言模型（LLM）中知识蒸馏（KD）的机制。通过将输出分解为多个交互，发现KD的共性机制是交互稀疏化，即学生模型保留更少交互进行推理。性能差异源于处理复杂交互的能力，并据此提出了复杂交互惩罚（CIP）损失函数。实验表明CIP能持续提升各种KD方法的性能。
尽管知识蒸馏（KD）在大型语言模型（LLM）中取得了显著成功，但其背后的机制却始终未能完全阐明。近日，一篇发表在arXiv上的论文提出了一种统一的方法，通过“交互”这一概念来探索各种知识蒸馏方法的共性机制。研究团队将大型语言模型的输出分数分解为大量交互的总和，每个交互代表一组输入变量（例如单词）之间的非线性关系。这种方法为理解模型内部运作提供了全新的视角。
基于这种分解，研究人员发现了一个关键现象：所有知识蒸馏方法都共同具备一种机制，即“交互的稀疏化”。具体来说，学生模型在推理时只会保留少量的交互，而将其他交互的效果抑制为零。这意味着蒸馏过程本质上是在引导学生模型学习更简洁的决策依据。
进一步的研究揭示，不同蒸馏方法之间的性能差异主要源于它们处理复杂交互的能力。复杂交互涉及更多的输入变量和更高级的非线性关系。研究发现，如果一种蒸馏方法能让学生模型实现更高的复杂交互稀疏性，即更少地依赖复杂交互进行推理，那么其性能通常会更优。这一发现为蒸馏方法的性能优化提供了明确的方向。
受这些洞察的启发，研究人员提出了一种即插即用的损失函数——复杂交互惩罚（CIP）。该函数在蒸馏过程中显式地惩罚复杂交互的使用，强制模型实现更高的稀疏性。大量实验表明，将CIP集成到现有的知识蒸馏方法中，能够在域内和分布外基准测试上持续提升性能，验证了其有效性和通用性。
这项研究不仅深化了我们对知识蒸馏机制的理解，还提供了一个实用的工具来改进蒸馏过程。对于从事模型压缩和部署的研究者与工程师而言，这一工作具有重要的参考价值。未来，基于交互的分析方法或许还能推广到其他模型行为的研究中。