Director：通過在線主動專家放置加速分佈式MoE服務
本文介紹了Director，一種新的分佈式MoE推理系統，通過預測驅動的在線專家放置優化，顯著降低端到端延遲。系統採用輕量級級聯預測器或低比特量化副本預測專家激活模式，結合近乎零停機的在線遷移模塊，以及基於鬆弛優化的專家放置算法，在多項式時間內達到(1+ε)近似比。實驗表明，在Mistral、DeepSeek和Qwen等流行MoE模型上，相比現有工作延遲降低11%~55%。
MoE（混合專家）模型因其高效的可擴展性，已成為大語言模型（LLM）的主流架構。然而，當這些模型部署在分佈式系統上時，專家並行模式會引入顯著的通信與計算延遲，導致整體推理效率下降。傳統方法通常基於歷史請求的專家激活模式來優化專家放置，但在面對多樣化、快速變化的請求模式時效果不佳。為此，來自多所大學的研究團隊提出了Director系統，這是一種全新的分佈式MoE推理框架，通過在線主動預測專家激活並動態調整專家放置，顯著降低了端到端推理延遲。
Director的核心由三個模塊組成。首先是預測模塊，它採用輕量級級聯預測器或低比特量化模型副本，在不顯著增加開銷的情況下，快速預測即將到來的請求將激活哪些專家。其次，一個創新的在線遷移模塊負責執行專家重分配。為了最小化服務中斷，遷移被安排在計算密集型的階段進行，從而實現近乎零停機。最後，Director的優化核心是一個基於鬆弛優化的專家放置算法。該算法在GPU容量約束下運行，時間複雜度為多項式級別，並能夠保證近似比為(1+ε)，即在理論最優解附近。
實驗部分，研究團隊在Mistral、DeepSeek和Qwen等主流開源MoE模型上進行了全面評估。結果顯示，與現有的專家放置優化方法相比，Director將端到端推理延遲降低了11%至55%。這一成果已被INFOCOM 2026錄用，為大規模MoE模型的高效服務提供了實用性解決方案。該系統的設計思路也表明，將預測與在線優化結合是應對動態工作負載的有效途徑，未來可能影響模型推理成本預測和智能調度策略。