最近、arXivに掲載された論文で、「トークンタイム連続拡散（Token Time Continuous Diffusion, TTCD）」と呼ばれる新しい言語モデルが提案されました。このモデルは連続空間で動作し、ガウスノイズを最終的なトークンキャンバスに決定論的にマッピングし、さらなるサンプリングを必要としません。また、各トークンに独立した時間ステップの概念を導入し、一部のトークンが他のトークンよりも速くノイズからトークンに変換されるようにします。
拡散言語モデルは近年注目を集めており、段階的なノイズ除去によってデータを生成します。しかし、従来の離散空間モデルは高速化のために複数のトークンを並列サンプリングする必要があり、しばしば不正確さを引き起こします。TTCDは連続空間モデリングにより、この問題を根本的に回避します。連続空間では、モデルが決定論的なマッピングプロセスの中で全てのトークンを同時に考慮できるため、加速のために精度を犠牲にする必要がありません。さらに、トークンごとの時間ステップにより、条件付き生成をより適切にモデル化できます。確実性の高いトークンは素早くノイズ除去され、他のトークンは必要に応じて速度を調整します。この差別化された処理は、精製段階でのトークン間の相互作用を強化し、より調和のとれた生成結果をもたらします。
実験の結果、TTCDは高速化時に離散モデルを大幅に上回ることが示されました。研究チームはOpenWebTextデータセットで1.6億パラメータのTTCDモデルを訓練し、その後自己蒸留を行いました（教師モデルの知識を自身に転移する技術）。高速化条件下で、このモデルは無条件生成の質で既存モデルと同等であり、条件付き生成では同じデータで訓練され自己蒸留された同等規模の複数の既存モデルを凌駕しました。さらに、TTCDは数独解決タスクでも同様の改善を達成し、異なるタイプの系列生成における可能性を示しました。
この研究はParikshit Bansal氏らによって行われ、論文IDはarXiv:2607.14106、2026年5月7日に提出され、計算と言語（cs.CL）および人工知能（cs.AI）の分野に属します。TTCDの提案は、高速推論が必要なシナリオ（リアルタイム対話システム、オンラインコンテンツ生成など）において、効率的で高品質な言語生成の新しい方向性を提供します。今後、研究者は大規模モデルやさらなるタスクでのTTCDの性能を探求する予定です。