路径约束的混合专家模型

苹果机器学习研究团队近日发表了一项关于稀疏混合专家（MoE）架构的创新工作。传统MoE模型在各层独立地为每个令牌选择专家子集，导致大量可能的专家路径未被探索，造成统计效率低下。研究人员从专家路径的角度重新审视了MoE计算，即一个令牌在所有层中依次选择的专家序列。尽管对于N个专家和L层存在N^L种可能路径，但实际上令牌仅集中在少量与语言功能相关的路径上。这种自然集中现象提示，限制有效路径空间可以进一步提高效率。

基于这一洞察，团队提出了PathMoE架构。该架构在连续的层块内共享路由器参数，而非独立路由。实验表明，PathMoE显著增强了路径结构：它产生了更集中的路径聚类、更好的跨层一致性，并对路由扰动具有更强的鲁棒性。在0.9B和16B参数的模型上，PathMoE在困惑度和下游任务上均优于独立路由，同时无需使用辅助损失函数。这些结果证实，专家路径是MoE架构设计中的一个有用维度，与现有的独立路由机制互补。

该研究发表于2026年7月，作者包括Zijin Gu、Tatiana Likhomanenko、Vimal Thilak、Jason Ramapuram（部分工作完成于谷歌）和Navdeep Jaitly（部分工作完成于苹果）。论文指出，通过在连续层间共享路由参数，PathMoE能够有效地约束专家路径空间，增强令牌在路径上的自然集中性，从而提升模型的计算效率和性能。这一工作为MoE模型的高效训练和推理提供了新思路，尤其适用于大规模语言模型和语音识别等场景。