arXivに投稿された論文「Multi-Mask Diffusion Language Models for Few-Step Generation」が、COLM 2026に採択されました。本研究は、マスク拡散モデル（MDM）の少ステップ生成における課題を解決するため、マルチマスク拡散モデル（MultiMDM）を提案しています。
従来のMDMでは、前方拡散過程で全ての軌跡が単一の完全マスク状態に収束してしまい、終端エントロピーがゼロになるため、一貫性スタイルの少ステップ生成が困難でした。一方、均一状態拡散に基づく最近の代替手法ではこの問題を回避できますが、クリーントークンとノイズの区別が難しく、モデル品質や訓練効率が低下する傾向があります。
MultiMDMでは、前方過程で各クリーントークンをまず指定されたマスクに押し出し、その後マスク集合上で徐々に混合します。これにより、逆過程は指定マスクを予測してからクリーントークンに洗練する「下書き」能力を獲得します。研究チームは、事前学習済みMDMからの継続訓練を可能にする閉形式のELBO訓練目的関数を導出し、さらに共有ガンベル結合を用いた純粋離散状態の一貫性蒸留スキームも考案しました。
事前学習と蒸留の実験では、MultiMDMが原理に基づいた少ステップ生成の効果的な基盤を提供することが示されました。具体的には、標準的な言語モデリングベンチマークにおいて、同じステップ数で比較した場合、MultiMDMは従来のMDMよりも大幅に高品質なテキストを生成し、均一状態拡散モデルに匹敵する性能を達成しました。特に、2ステップや4ステップといった少ステップ設定において、MultiMDMはマスク構造の利点を活かしつつ終端エントロピー問題を回避できるため、顕著な改善が見られました。
蒸留実験では、一貫性蒸留技術を用いてMultiMDM教師モデルの知識を生徒モデルに転移し、推論速度をさらに向上させました。共有ガンベル結合の導入により、蒸留プロセスが安定化し、経路エントロピーが低減されたことで、蒸留モデルの生成品質も向上しました。
この研究の意義は、少ステップ生成のための新しい原理的な枠組みを提供した点にあります。これにより、リアルタイムアプリケーションでの推論コストを大幅に削減しつつ、高品質なテキスト生成を維持できる可能性が開かれました。今後、MultiMDMは画像や音声生成など他のモダリティにも拡張され、拡散モデルの効率と品質のトレードオフに関する新たな知見をもたらすことが期待されます。