拡散モデルは並列テキスト生成の効率性から注目を集めているが、双方向注意機構に依存するため、広く使われている事前学習済み自己回帰（AR）モデルとの間に根本的な構造的ミスマッチが生じる。この非互換性により、強力なAR事前分布を再利用できず、ゼロからの事前学習には prohibitive なコストがかかる。この課題に対処するため、Xiangyu Ma氏ら4名による論文「自己回帰から拡散へ：厳格な因果性と弾力的な地平線による大規模言語モデルの効率的適応」は、FLUIDフレームワークを提案する。本論文はACL 2026に採択された。FLUIDは、既存のARバックボーンを拡散パラダイムへ低コストで適応させることを目的とする。
FLUIDの第一の革新は「厳格な因果アラインメント」である。従来の拡散モデルはデノイジング過程で双方向注意を用いるが、標準的なGPT系モデルは因果注意を採用している。FLUIDは拡散過程に厳格な因果構造を課すことで、標準的なGPTスタイルのチェックポイントからシームレスに初期化可能とし、大規模事前学習を完全に回避する。これにより、ARモデルが大規模テキストから学習した豊かな言語知識を保持しつつ、訓練期間を大幅に短縮できる。
第二の革新は「弾力的地平線」メカニズムである。拡散モデルは通常、固定されたデノイジング・スケジュールを用いるが、テキスト内の情報密度は位置によって大きく異なる。FLUIDはエントロピー駆動の動的調整戦略を導入し、局所的な情報密度に応じてデノイジングのストライドをリアルタイムに調整する。情報が密集した領域ではより細かいストライドを、冗長な領域ではより大きなストライドを採用する。この適応的スケジューリングは硬直した固定タイムテーブルに取って代わり、生成効率と品質を向上させる。
実験結果は、FLUIDが複数のベンチマークで最先端性能を達成しつつ、訓練コストを数桁削減することを示している。本研究は、成熟した自己回帰基盤と効率的な並列生成の間の矛盾を見事に調和させ、言語モデルの効率的な展開に新たな道を開く。コードはGitHub（https://github.com/Oli-lab-nun/FLUID/tree/main）で公開されており、コミュニティによる再現と拡張が可能である。