自己回帰（AR）大規模言語モデル（LLM）は、各トークンの生成に全パラメータへのアクセスが必要なため、推論時の効率が本質的に低く、演算強度が低くエネルギー消費が大きいという問題があります。マスク拡散言語モデル（MDLM）は、パラメータアクセス1回あたり複数のトークンを生成できるため、メモリ制約のある環境ではこの制限を部分的に解決します。
本研究では、大容量オンチップメモリを備えた現代のプラットフォームでの推論効率をさらに高めるため、ブロック拡散とスパイクベースのニューロモルフィック計算を統合したニューロモルフィックMDLM（N-MDLM）を提案します。ブロック拡散はパラメータアクセスごとに複数のトークンを生成してスループットを向上させ、スパイク誘起スパーシティは非アクティブチャネルをスキップすることで実効的なパラメータトラフィックと計算量を削減します。
研究者らは、スパーシティと拡散の相乗効果を分析するために、ブロック並列生成とスパイクスパーシティが復号効率に与える複合的な影響を捉えた、トークンレベルのルーフライン型モデルを開発しました。翻訳タスクでの実験結果は、スパイク誘起スパーシティのおかげで、N-MDLMがMDLMではAR-LLMを改善できない計算制約のあるプラットフォームでも、エネルギー効率とスループットを大幅に向上させることを示しています。この研究は、将来の効率的な言語モデル推論のための新しいニューロモルフィック計算の方向性を提供します。