混合專家（MoE）模型通過稀疏激活來提升效率，但在邊緣設備上面臨一個關鍵挑戰：相鄰的token往往會激活不同的專家，導致模型權重需要在慢速存儲（如閃存）和快速內存之間頻繁交換。這種權重交換不僅增加了推理延遲，還造成了嚴重的內存瓶頸，限制了MoE模型在手機、物聯網設備等資源受限平台上的部署。
現有的解決方案主要分為兩類：系統級的緩存啓發式策略，以及事後的路由器微調。然而，這些方法都未能從根源上解決問題——訓練過程中的路由不穩定性。緩存策略只能緩解症狀，而事後微調雖然可以改善局部性，但往往會損害模型質量，並且需要額外的訓練步驟。
來自arXiv的新研究提出了StickyMoE，這是一種可微分的路由一致性損失函數。其核心思想是在訓練過程中直接懲罰相鄰token之間的專家切換，鼓勵路由器在語義連貫的文本跨度內保持相同的專家分配。這種方法不需要改變模型架構，僅僅引入了一個超參數λ來控制懲罰的強度。更重要的是，與事後微調不同，StickyMoE允許專家表示和路由決策從訓練的第一步起就協同適應，從而在保持模型質量的同時，自然地學習到具有時間局部性的路由策略。
研究者在小型MoE語言模型上進行了實驗，結果顯示StickyMoE能夠將專家切換率降低最多60%，同時僅帶來不到4%的困惑度下降。在質量-局部性權衡曲線上，StickyMoE全面優於事後微調方法，實現了帕累託改進。這一工作強調了在訓練階段注入路由時間局部性是最有效的方式，為未來在邊緣設備上高效部署MoE模型提供了新的思路。隨着邊緣AI的快速發展，StickyMoE有望成為推動MoE模型落地的重要技術之一。