在人工智慧領域，混合專家模型（Mixture-of-Experts, MoE）因其能夠透過將輸入令牌路由到一小部分專家來高效擴充套件Transformer模型而備受關注。然而，現有路由機制通常基於淺層或孤立的令牌表示進行專家選擇，這導致不同層之間的路由決策不穩定且語義上不一致，從而限制了專家模型的有效分工。針對這一關鍵瓶頸，Shuhan Huang等學者在arXiv上發表的論文中提出了多級上下文融合MoE（Multi-level Context Fusion MOE, MCF-MoE）框架。
該框架從表示學習角度出發，致力於構建具有豐富上下文資訊的令牌表示。透過整合跨層語義聚合和區域性令牌級別的互動訊號，MCF-MoE使得路由決策能夠同時捕捉全域性語義和區域性細節。具體而言，跨層注意力機制負責聚合來自不同層的語義資訊，而區域性令牌互動則保留細粒度的鄰近上下文。這種多級上下文融合策略確保了專家選擇的穩定性和一致性。
在語言建模和語言理解基準上的實驗驗證了MCF-MoE的有效性。與強基線相比，MCF-MoE在路由一致性指標和下游任務效能（如困惑度和GLUE分數）上均取得了顯著提升。例如，在GPT-2和BERT等模型上的測試表明，MCF-MoE能夠有效減少路由波動，同時提高任務準確率。該研究的程式碼已公開發布在匿名倉庫中，便於研究者復現和進一步探索。這一成果不僅深化了對MoE路由機制的理解，也為構建更穩定、高效的AI模型提供了新思路。未來，MCF-MoE有望在大型語言模型、多模態系統等領域發揮重要作用。