拡散（大規模）言語モデル（dLLM）は、多くのタスクで自己回帰モデルと同等の下流性能を達成しつつ、推論時の効率がより高いという可能性を秘めている。自己回帰モデルがトークンを順番に生成するのに対し、dLLM は複数回の反復的なノイズ除去を通じて複数の位置を並列にデコードするため、より少ないステップで生成を完了できる可能性がある。
dLLM の重要な設計要素の一つが、各拡散ステップでどのトークンをアンマスクするかを選ぶサンプリング手順である。近年の研究では、ランダムなアンマスクと比較して、信頼度しきい値処理のようなヒューリスティック戦略がサンプル品質とトークンのスループットの両方を改善することが示されている。直感的には、モデルが最も確信しているトークンを優先的にデコードすることで、信頼度の高い内容が早い段階で確定し、後続の位置に対してより信頼できる文脈を提供できる。
しかし、こうしたヒューリスティックには明らかな欠点がある。第一に、手動での調整が必要であり、しきい値をいくつに設定するかは経験に依存し、モデルやタスク、データセットによって変化しうる。第二に、論文の著者らは、ブロックサイズが大きくなるとヒューリスティックの性能が低下することを観察している。これは、より積極的な並列デコードが求められる場面での適用を制限する。
こうした問題に対処するため、著者らはサンプリング手順を強化学習で訓練することを提案する。具体的には、マスク付き拡散サンプリングをマルコフ決定過程として定式化し、dLLM 自体を環境、方策ネットワークを各ステップでどのトークンをアンマスクするかを決める主体として扱う。軽量性を保つため、提案する方策は単層 Transformer に基づき、dLLM のトークン信頼度をアンマスク決定へ写像する。
実験の結果、訓練された方策は、半自己回帰（ブロック）生成と組み合わせた場合に最先端のヒューリスティックと同等の性能を達成し、完全拡散（full-diffusion）設定ではそれらを上回ることが示された。この結果は、学習ベースのサンプリング方策が、煩雑な手動調整なしに拡散言語モデルの並列デコードの潜在能力を引き出せることを示唆している。
本論文は Metod Jazbec 氏と Theo X. Olausson 氏らによる共同研究で、アムステルダム大学やマサチューセッツ工科大学などの研究者が参加し、一部は Apple 在籍中に行われた。論文は 2026 年 7 月に公開された。
この研究方向では関連する complementary な進展も報告されている。例えば「Residual Context Diffusion Language Models」は、最先端のブロック型 dLLM が「再マスク」機構に依存し、最も確信度の高いトークンだけをデコードして残りを破棄するため計算を無駄にしていると指摘し、破棄されたトークンの計算を再利用することが有益であると示している。「DiffuCoder」はコード生成におけるマスク付き拡散モデルのデコード挙動に焦点を当て、その訓練と推論の仕組みを明らかにしようとしている。これらの研究は、拡散言語モデルの研究がモデル構造からサンプリングやデコード戦略という重要な段階へと広がっていることを反映している。
総じて、本論文の中心的貢献は、dLLM のアンマスク・サンプリングを手作業で設計されたヒューリスティック規則への依存から、強化学習によってエンドツーエンドで訓練できる方策へと転換した点にある。軽量な方策ネットワークにより計算負荷を抑えつつ、ブロック型と完全拡散の両設定で競争力のある結果を達成している。