生成的モデリングの分野では、決定論的な少ステップ生成法が連続画像潜在変数で優れた性能を発揮する一方、連続テキスト潜在変数に適用すると一貫性のないテキストが生成されることが知られている。この現象は長らく、訓練不足やモデル規模の制約に起因すると考えられてきた。しかし、新しい論文は根本原因が幾何学構造にあると指摘する。平滑で正則性に制限された決定論的写像は、鋭いカテゴリカル読み出しの前に離散的な分岐選択を解決することができない。したがって、少ステップ生成の失敗を支配するのはデコーダの鋭さであり、輸送精度ではない。
論文は、実テキストオートエンコーダの重複領域において定理3を証明する。事後平均の終端ステップは、決定境界周辺のO(s(t))管における潜在変数の質量に比例する速度でトークンを反転させる。この現象を定量化するため、著者らはDABI(読み出し鋭度)とCCI(カテゴリカルコミットメント)という二つの診断指標を導入し、公開チェックポイントで測定した。その結果、独立に構築された四つの連続テキストデコーダは、境界に整列した摂動をノルム一致の等方性摂動よりもはるかに大きく増幅し、DABI値は5×10²から10⁵超に達する。一方、画像デコーダのDABIは約1である。
論文はさらに、連続限界から脱出する二つのメカニズムを検討する。第一はカテゴリカルコミットメントである。自己回帰デコーダは、より鋭い読み出しを持ちながらも、離散的なトークン選択を通じてコミットメントを実現するため、テキスト生成に成功する。第二は確率的再注入である。同じモデル上で、K=4の決定論的ODEではパープレキシティ(PPL)が294であるのに対し、SDEでは50に低下する。これは、ランダム性がモデルを局所的な不確実領域から回避させることを示している。
理想化された分離領域では、著者らは一致する鋭い輸送法則を証明し、次元相図を示す。潜在変数の次元がΩ(log M)のとき、M個のモードを分離するのに必要な決定論的剛性はΘ(√log M)で増大する。固定次元ではM^{1/n}に従う。深さBの階層構造は、ステップごとのピークを√B分の1に減少させる(定理5-7)。さらに、余面積恒等式がこれらの結果を重複管と結びつける(定理17)。最終的に、論文は精度-深さ-剛性のトレードオフを提示する。決定論的連続クラス内ではこのコストは不可約であり、上述の二つのメカニズムはそのクラスを超え出るものである。