なぜ画像潜在変数はうまくいくのにテキスト潜在変数は数ステップで失敗するのか？鋭いカテゴリ読み出しにおける非コミットメント

近年、少数ステップ生成モデルは画像生成分野で顕著な成功を収めていますが、同じ手法をテキスト生成に適用すると失敗します。Zhongyao Wang氏による新しい論文（arXiv:2606.30705）は、この現象の根本原因が訓練やスケーリングではなく、幾何学的制約にあることを明らかにしました。

論文は、決定論的少数ステップ生成が連続画像潜在変数では成功するものの、連続テキスト潜在変数では無意味なテキストを生成することを指摘しています。鍵となるのは、滑らかで正則性に制限された決定論的マップが、鋭いカテゴリ読み出しの前に離散分岐選択を解決できないことです。つまり、失敗はデコーダの鋭さによって決定され、転送精度によるものではありません。

この現象を定量化するために、著者らは読み出し鋭さ（DABI）とカテゴリコミットメント（CCI）という二つの診断指標を提案しました。実験測定によると、独立に構築された4つの連続テキストデコーダのDABI値は5×10²から10⁵以上であり、画像デコーダのDABI値が約1であるのとは対照的です。これは、テキストデコーダが境界整合摂動に対して非常に敏感である一方、画像デコーダはそうでないことを意味します。

論文はさらに、この連続限界を回避できる二つのメカニズムを探求しています。一つはカテゴリコミットメント、すなわち自己回帰デコーダはより鋭い読み出しでも成功することです。もう一つは確率的再注入であり、例えば同じモデルで決定論的ODE（K=4）のパープレキシティ（PPL）が294であるのに対し、SDEでは50であり、確率性の利点を示しています。

理論的側面では、論文は整合する鋭い輸送法則を確立し、次元相図も含みます。M個のモードを分離するのに必要な決定論的剛性は、潜在次元がΩ(log M)であればΘ(√log M)で成長し、固定次元ではM^{1/n}で成長します。深さBの階層構造により、ステップごとのピークは√B倍小さくなります。これらの結果は、精度-深さ-剛性のトレードオフを明らかにし、決定論的連続クラス内ではコストが削減不可能である一方、二つの回避メカニズムはそのクラスの外側に位置づけられます。

この論文は、テキスト領域における少数ステップ生成モデルの限界を理解するための深い洞察を提供し、より効果的なテキスト生成手法の設計に向けた指針を与えています。特に、実用的なテキスト生成タスクでは、連続潜在変数を用いる場合、確率的要素または自己回帰デコーダの導入が不可欠であることを示唆しており、現在広く使われている拡散モデルやフローマッチングモデルにとっても重要な示唆を与えています。