路徑約束的混合專家模型

蘋果機器學習研究團隊近日發表了一項關於稀疏混合專家（MoE）架構的創新工作。傳統MoE模型在各層獨立地為每個令牌選擇專家子集，導致大量可能的專家路徑未被探索，造成統計效率低下。研究人員從專家路徑的角度重新審視了MoE計算，即一個令牌在所有層中依次選擇的專家序列。儘管對於N個專家和L層存在N^L種可能路徑，但實際上令牌僅集中在少量與語言功能相關的路徑上。這種自然集中現象提示，限制有效路徑空間可以進一步提高效率。

基於這一洞察，團隊提出了PathMoE架構。該架構在連續的層塊內共享路由器參數，而非獨立路由。實驗表明，PathMoE顯著增強了路徑結構：它產生了更集中的路徑聚類、更好的跨層一致性，並對路由擾動具有更強的魯棒性。在0.9B和16B參數的模型上，PathMoE在困惑度和下游任務上均優於獨立路由，同時無需使用輔助損失函數。這些結果證實，專家路徑是MoE架構設計中的一個有用維度，與現有的獨立路由機制互補。

該研究發表於2026年7月，作者包括Zijin Gu、Tatiana Likhomanenko、Vimal Thilak、Jason Ramapuram（部分工作完成於谷歌）和Navdeep Jaitly（部分工作完成於蘋果）。論文指出，通過在連續層間共享路由參數，PathMoE能夠有效地約束專家路徑空間，增強令牌在路徑上的自然集中性，從而提升模型的計算效率和性能。這一工作為MoE模型的高效訓練和推理提供了新思路，尤其適用於大規模語言模型和語音識別等場景。