拡散大規模言語モデル（dLLM）は、純粋な自己回帰言語モデルに対する有望な代替手段として登場している。複数のトークンを並列にデコードできるためだ。しかし、最先端のブロックワイズdLLMは「再マスキング」メカニズムに依存しており、各ステップで最も自信のあるトークンのみをデコードし、残りを破棄する。これは計算を実質的に無駄にしている。カリフォルニア大学バークレー校などの研究者らは、破棄されたトークンが後続のデコーディング反復に有用な文脈情報を保持していることを示し、その計算を再利用することが有益であると主張する。
そこで研究チームは、残差コンテキスト拡散（Residual Context Diffusion、RCD）モジュールを提案する。このモジュールは、破棄されたトークン表現をコンテキスト残差に変換し、次のデノイジングステップに再注入する。逆伝播に伴うメモリボトルネックを回避するため、RCDは分離型の2段階トレーニングパイプラインを採用している。
研究チームは、長い思考連鎖（CoT）推論モデル（SDAR）と短いCoTの指示追従モデル（LLaDA）の両方で手法を検証した。その結果、標準的なdLLMをわずか約10億トークンでRCDパラダイムに効率的に変換できることを示した。広範なベンチマークにおいて、RCDは最小限の追加計算オーバーヘッドで最先端dLLMの精度を5〜10ポイント一貫して向上させる。特筆すべきは、最も困難なAIMEタスクにおいて、RCDがベースライン精度をほぼ2倍にし、同等の精度レベルでデノイジングステップを最大4〜5倍削減できることだ。
この研究は、拡散言語モデルにおける一見無駄な計算が、実は回収可能な文脈信号を含んでいることを明らかにしている。これらの信号を体系的に活用することで、RCDはモデル性能を向上させるだけでなく、推論効率も大幅に改善し、拡散言語モデルの今後の発展に新たな道筋を示すものである。