苹果研究团队发表的一篇论文《Attention to Mamba: A Recipe for Cross-Architecture Distillation》提出了一种将基于注意力机制的 Transformer 模型蒸馏到类 Mamba 架构的有效方法。该研究由 Abhinav Moudgil(康考迪亚大学与 MILA 研究所)、Ningyuan Huang(约翰斯·霍普金斯大学与 Flatiron 研究所)、Eeshan Gunesh Dhekane、Pau Rodríguez Lopez、Luca Zappella 和 Federico Danieli 共同完成,论文于 2026 年 11 月发布,作者注明部分工作是在苹果公司任职期间完成的。
研究的出发点在于当前模型架构的两难。以 Mamba 为代表的状态空间模型(SSM)近年来成为 Transformer 的热门替代方案,原因在于相比基于注意力机制的模型,它们的内存占用更低,生成阶段的吞吐量更高。然而另一方面,学术界和工业界已经在如何训练 Transformer 上积累了大量知识,并且现成的预训练 Transformer 模型随处可得。因此,研究者希望在推动 SSM 普及的同时充分利用这些已有的预训练 Transformer,目标是找到一套有效的配方,把基于注意力的模型蒸馏成类 Mamba 架构。
此前关于跨架构蒸馏的工作已经暴露出一个关键问题:从 Transformer 到 Mamba 的朴素蒸馏流程无法保留原始教师模型的性能,通常需要依靠将注意力模块与 SSM 模块混合的折中方案来弥补。本文的核心论点则是,只要为 Mamba 配备一种有原则的初始化,就能获得整体更优的跨架构蒸馏配方。
为此,研究团队提出了一种两阶段的蒸馏方法。第一阶段,借助对核技巧的改造,将知识从传统 Transformer 蒸馏到一个线性化的注意力版本中。第二阶段,再把这个线性化版本蒸馏到一个经过调整、完全不使用任何注意力模块的 Mamba 模型中。这种分步推进的设计正是让 Mamba 获得合理初始化、从而避免性能崩塌的关键。
实验结果表明,蒸馏得到的 Mamba 模型保留了原始 Pythia-1B Transformer 的大部分性能,困惑度达到 14.01,接近教师模型的 13.86。这一效果在很大程度上也延续到了下游任务上,不过在更依赖上下文回忆(in-context recall)的任务上仍会出现一定差距。
为了验证配方的有效性,作者在 10B token 的规模上以 1B 参数量进行了详尽的消融实验,涵盖不同的序列混合器架构;同时对模型规模和总蒸馏 token 数做了扩展性分析,并对两个阶段之间的 token 分配进行了敏感性分析。论文还关联到该团队此前发表的《Understanding Input Selectivity in Mamba》(ICML,2025 年 7 月 4 日)以及《Distillation Scaling Laws》(ICML,2025 年 7 月 1 日)等工作,后者提出了一种蒸馏扩展定律,可根据计算预算及其在学生模型与教师模型之间的分配来估计蒸馏模型的性能,从而为大规模蒸馏提供计算最优的配置建议,降低相关风险。