混合專家（MoE）模型透過稀疏啟用來提升效率，但在邊緣裝置上面臨一個關鍵挑戰：相鄰的token往往會啟用不同的專家，導致模型權重需要在慢速儲存（如快閃記憶體）和快速記憶體之間頻繁交換。這種權重交換不僅增加了推理延遲，還造成了嚴重的記憶體瓶頸，限制了MoE模型在手機、物聯網裝置等資源受限平臺上的部署。
現有的解決方案主要分為兩類：系統級的快取啟發式策略，以及事後的路由器微調。然而，這些方法都未能從根源上解決問題——訓練過程中的路由不穩定性。快取策略只能緩解症狀，而事後微調雖然可以改善區域性性，但往往會損害模型質量，並且需要額外的訓練步驟。
來自arXiv的新研究提出了StickyMoE，這是一種可微分的路由一致性損失函式。其核心思想是在訓練過程中直接懲罰相鄰token之間的專家切換，鼓勵路由器在語義連貫的文本跨度內保持相同的專家分配。這種方法不需要改變模型架構，僅僅引入了一個超引數λ來控制懲罰的強度。更重要的是，與事後微調不同，StickyMoE允許專家表示和路由決策從訓練的第一步起就協同適應，從而在保持模型質量的同時，自然地學習到具有時間區域性性的路由策略。
研究者在小型MoE語言模型上進行了實驗，結果顯示StickyMoE能夠將專家切換率降低最多60%，同時僅帶來不到4%的困惑度下降。在質量-區域性性權衡曲線上，StickyMoE全面優於事後微調方法，實現了帕累託改進。這一工作強調了在訓練階段注入路由時間區域性性是最有效的方式，為未來在邊緣裝置上高效部署MoE模型提供了新的思路。隨著邊緣AI的快速發展，StickyMoE有望成為推動MoE模型落地的重要技術之一。