Director：通过在线主动专家放置加速分布式MoE服务
本文介绍了Director，一种新的分布式MoE推理系统，通过预测驱动的在线专家放置优化，显著降低端到端延迟。系统采用轻量级级联预测器或低比特量化副本预测专家激活模式，结合近乎零停机的在线迁移模块，以及基于松弛优化的专家放置算法，在多项式时间内达到(1+ε)近似比。实验表明，在Mistral、DeepSeek和Qwen等流行MoE模型上，相比现有工作延迟降低11%~55%。
MoE（混合专家）模型因其高效的可扩展性，已成为大语言模型（LLM）的主流架构。然而，当这些模型部署在分布式系统上时，专家并行模式会引入显著的通信与计算延迟，导致整体推理效率下降。传统方法通常基于历史请求的专家激活模式来优化专家放置，但在面对多样化、快速变化的请求模式时效果不佳。为此，来自多所大学的研究团队提出了Director系统，这是一种全新的分布式MoE推理框架，通过在线主动预测专家激活并动态调整专家放置，显著降低了端到端推理延迟。
Director的核心由三个模块组成。首先是预测模块，它采用轻量级级联预测器或低比特量化模型副本，在不显著增加开销的情况下，快速预测即将到来的请求将激活哪些专家。其次，一个创新的在线迁移模块负责执行专家重分配。为了最小化服务中断，迁移被安排在计算密集型的阶段进行，从而实现近乎零停机。最后，Director的优化核心是一个基于松弛优化的专家放置算法。该算法在GPU容量约束下运行，时间复杂度为多项式级别，并能够保证近似比为(1+ε)，即在理论最优解附近。
实验部分，研究团队在Mistral、DeepSeek和Qwen等主流开源MoE模型上进行了全面评估。结果显示，与现有的专家放置优化方法相比，Director将端到端推理延迟降低了11%至55%。这一成果已被INFOCOM 2026录用，为大规模MoE模型的高效服务提供了实用性解决方案。该系统的设计思路也表明，将预测与在线优化结合是应对动态工作负载的有效途径，未来可能影响模型推理成本预测和智能调度策略。