MoEエキスパート共活性化：入力の並べ替えでスループット向上

Doublewordのバッチ推論サービスは、入力を並べ替えることでMixture-of-Expertsモデルの推論時にエキスパートのロード回数を減らし、モデルやカーネルの変更なしにスループットを向上させます。実験では、埋め込みモデルを使用したクラスタリングによりエキスパートロードが約15%削減され、大幅な高速化が実現しました。