SpecMD：投機的エキスパートプリフェッチの包括的研究
SpecMDは、Appleの研究者が開発した、混合エキスパート（MoE）モデルにおけるエキスパートキャッシュポリシーをベンチマークおよび評価するための標準化フレームワークです。この研究により、MoEエキスパートのアクセスパターンは時間的局所性に従わないことが明らかになり、Least-Staleと呼ばれる新しいエビクションポリシーが提案されました。このポリシーは、LRUと比較して衝突ミスを最大85倍削減し、OLMoE上で88%以上のヒット率と34.7%のTTFT削減を達成します。
Apple Machine Learning Researchチームは、ICML 2026で採択された論文「SpecMD: A Comprehensive Study on Speculative Expert Prefetching」を発表しました。この研究は、混合エキスパート（MoE）モデルにおけるエキスパートキャッシングの問題に焦点を当てています。MoEモデルは、スパースなエキスパート活性化によって効率を向上させます。つまり、各推論時にはモデルのパラメータの一部のみが使用されます。しかし、このスパース性を実際のパフォーマンス向上に結びつけるためには、効率的なエキスパートキャッシュメカニズムが必要です。これまでの研究では、ハードウェア中心のキャッシュポリシー（LRUやLFUなど）が提案されてきましたが、これらのポリシー間の相互作用や、異なるハードウェア仕様における振る舞いは十分に理解されていませんでした。
このギャップを埋めるために、研究チームはSpecMDを開発しました。これは、さまざまなハードウェア構成でアドホックなキャッシュポリシーをベンチマークするための標準化フレームワークです。SpecMDを用いて、研究者らは複数のMoEキャッシュ戦略を徹底的にベンチマークし、制御された条件下で先行研究を再現・拡張し、現実的な制約を考慮しました。実験の結果、MoEエキスパートのアクセスパターンは、時間的局所性の仮定（LRUやLFUなど）と一致しないことが明らかになりました。この観察に基づき、チームはLeast-Staleという新しいエビクションポリシーを提案しました。このポリシーは、MoEの予測可能なエキスパートアクセスパターンを活用し、LRUと比較して衝突ミスを最大85倍削減します。
このような改善により、SpecMDはわずか5%（約0.6GB）のVRAMキャッシュ容量で、OLMoEモデル上で88%以上のヒット率と34.7%のTTFT（最初のトークンまでの時間）削減を達成しました。この研究は、特にキャッシュポリシーの選択とハードウェア構成の最適化に関して、MoEモデルの展開に重要な洞察を提供します。SpecMDフレームワークは、研究者やエンジニアが実際のシステムでエキスパートキャッシュポリシーをより効果的に評価することを可能にし、資源制約のある環境でのMoEモデルの実用化を促進します。