経路制約型混合エキスパート

Appleの機械学習研究チームは、スパース混合エキスパート（MoE）アーキテクチャに関する新たな研究を発表した。従来のMoEモデルでは、各層で独立にトークンに対してエキスパートのサブセットをルーティングするため、膨大な数のエキスパート経路（トークンが全層で選択するエキスパートの系列）のうちごく一部しか活用されず、統計的非効率が生じていた。研究者らは、エキスパート経路の観点からMoE計算を捉え直し、実際にはトークンが言語機能に対応する少数の経路に集中することを発見。この自然な集中を増幅するため、有効経路空間を制約するアーキテクチャを動機付けた。

具体的な実装として、PathMoEが導入された。これは連続する層のブロック内でルーターパラメータを共有する。分析により、PathMoEは経路構造を増幅し、より集中した経路クラスタ、優れた層間一貫性、およびルーティング摂動に対する高いロバスト性をもたらすことが確認された。0.9Bおよび16BパラメータのPathMoEモデルを用いた実験では、独立ルーティングと比較してパープレキシティと下流タスクで一貫した改善が見られ、補助損失は不要となった。これらの結果は、エキスパート経路が既存の独立ルーティング機構と相補的な、MoEアーキテクチャの有用な設計軸であることを示している。

本研究は2026年7月に発表され、著者にはZijin Gu、Tatiana Likhomanenko、Vimal Thilak、Jason Ramapuram（一部Google在籍時）、Navdeep Jaitly（一部Apple在籍時）が含まれる。論文では、連続層間でルーターパラメータを共有することにより、PathMoEがエキスパート経路空間を効果的に制約し、トークンの経路集中性を高めることで、計算効率と性能を向上させることが示された。この成果は、大規模言語モデルや音声認識など、MoEモデルの効率的な訓練と推論に新たな道を開くものである。