離散拡散言語モデル（DLM）は、すべてのトークン位置を並行してノイズ除去することによりテキストを生成するアプローチであり、自己回帰モデルの代替として注目されています。しかし、自己回帰モデルから導入された制御生成手法は、各ノイズ除去ステップで均一な介入を適用するため、生成品質の低下を招いていました。特に複数の属性を同時に操縦する場合、その悪影響はさらに顕著になります。
この問題を診断するため、研究チームは4つのDLM（パラメータ数124Mから8B）にスパースオートエンコーダを訓練しました。その結果、異なる属性（トピック、感情など）はノイズ除去プロセスにおいて異なるタイミングで固着することが明らかになりました。例えば、トピックはノイズ除去の最初の2%以内に急速に固着するのに対し、感情はプロセスの約20%にわたって徐々に現れます。このため、均一な介入は、ターゲット属性がすでに固着しているか、まだ出現していないステップで操縦能力を浪費することになります。
この発見に基づき、研究者らは新しい適応スケジューラを提案しました。このスケジューラは、属性が活発に形成されているステップに介入を集中し、残りの生成ステップには触れません。コストと制御のトレードオフは閉形式で特徴づけられ、適応スケジューリングが均一スケジューリングよりも優れている点は、固着分布の単一の分散統計量によって決まります。
4つのDLMと7つの操縦タスクにおける実験で、本手法は均一介入に典型的な品質低下なしに精密な制御を達成しました。特に困難な3属性同時制御タスクでは、最大93%の操縦強度を達成し、最強のベースラインを15ポイント上回り、生成品質も維持しました。この研究は、離散拡散モデルの制御生成に新たな道を開くものであり、テキスト生成やコンテンツカスタマイズなどの分野での応用が期待されます。論文はHanhan Zhouらにより執筆され、2026年5月8日にarXiv（ID: 2605.10971）に投稿されました。