稀疏混合专家（MoE）架构在每一层都会独立地为每个词元选择一部分专家进行处理。苹果与谷歌的研究人员提出了一种新的分析视角：把MoE的计算过程看作“专家路径”，也就是一个词元在全部层中所做出的专家选择序列。这一视角揭示出一个有趣的现象：当模型有N个专家、L层时，理论上存在N^L条可能的路径，但在实际训练中，词元往往只聚集在少数与语言功能相对应的路径上，而绝大多数路径从未被探索，这构成了一种统计效率上的浪费。
正是基于这一观察，作者提出了路径约束型架构，用以压缩有效路径空间，从而放大这种自然形成的集中趋势。作为该思路的一个具体实现，他们推出了PathMoE：在连续若干层组成的层块之间共享路由器参数。这样做的效果是，模型在层与层之间的专家选择更具一致性，路径结构更加清晰，路由结果对扰动的抵抗力也更强。
论文的分析确认，PathMoE确实强化了涌现出的路径结构：路径簇更加集中，跨层一致性更好，并且在路由受到扰动时更为稳健。研究团队在0.9B和16B参数规模的模型上进行了实验，结果显示PathMoE在困惑度和下游任务上均优于独立路由的基线，同时不再需要依赖辅助损失函数来维持负载均衡。
作者指出，这些结果说明“专家路径”可以作为MoE架构设计的一个有益维度，与现有的独立路由机制研究形成互补而非替代关系。该论文由Zijin Gu、Tatiana Likhomanenko、Vimal Thilak、Jason Ramapuram和Navdeep Jaitly共同完成，部分工作是在Apple期间开展的，论文于2026年7月发表。
这一工作延续了该团队此前在路由共享方面的探索。例如2025年7月发表的Omni-Router研究了语音识别中的路由决策共享问题，发现多数层的路由器所做的专家选择与其他层关联不强，因而尝试加强跨层专家之间的协作。更早的Duo-LLM工作则关注大语言模型中的自适应计算问题。PathMoE可以视为这一系列思路在语言模型MoE架构上的进一步延伸，将跨层路由的一致性问题提升为架构设计的核心考量。