Director: オンライン予測型エキスパート配置による分散MoEサービングの高速化
本論文では、予測駆動のオンラインエキスパート配置によりエンドツーエンドレイテンシを最小化する新しい分散MoEサービングシステムDirectorを提案する。軽量カスケード予測器または低ビット量子化レプリカを用いてエキスパート活性化パターンを予測し、ほぼゼロダウンタイムのマイグレーションモジュールと、多項式時間で(1+ε)近似比を達成する緩和ベースの最適化器を備える。実験では、Mistral、DeepSeek、Qwenなどの人気MoEモデルにおいて、既存手法と比較して11〜55%のレイテンシ削減を実証した。
Mixture-of-Experts（MoE）モデルは、その拡張性の高さから大規模言語モデル（LLM）で広く利用されています。しかし、分散環境でMoEモデルを提供する際、エキスパート並列処理はGPU間の通信遅延や計算遅延を引き起こし、効率のボトルネックとなります。従来のエキスパート配置最適化手法は、過去のリクエストにおけるエキスパートの活性化パターンに依存していましたが、多様で急速に変化するリクエストパターンには対応できません。この問題を解決するために、複数の研究機関からなるチームがDirectorシステムを提案しました。Directorは、予測に基づくオンラインエキスパート配置により、エンドツーエンドのレイテンシを最小化します。
Directorの主要な革新は3つあります。第一に、軽量なカスケード予測器または低ビット量子化レプリカを使用して、到着するリクエストのエキスパート活性化パターンを高速に予測します。第二に、計算バウンドなフェーズでエキスパートのマイグレーションを実行するオンラインマイグレーションモジュールにより、ほぼゼロダウンタイムでエキスパートを再配置します。第三に、緩和ベースのエキスパート配置最適化器が、GPU容量制約の下で多項式時間で動作し、(1+ε)近似比を達成します。
実験では、Mistral、DeepSeek、Qwenなどの人気MoEモデルを使用して評価が行われました。その結果、Directorは既存手法と比較してエンドツーエンドのレイテンシを11％から55％削減することに成功しました。この研究成果はINFOCOM 2026に採択されており、MoEモデルの効率的なサービングに新しい道を開くものです。将来の研究では、予測精度の向上や動的環境での適応が期待されます。