一篇新提交至 arXiv 的论文(编号 2606.30705,作者 Zhongyao Wang,2026 年 6 月 29 日提交,属于 cs.LG 与 cs.AI 领域)试图解释一个令人困惑的现象:确定性少步生成在连续图像潜空间上效果良好,但在连续文本潜空间上却会退化为不连贯的文本。作者指出,根本原因并非训练不足或规模不够,而是几何层面的固有限制。
论文的核心论点是:一个平滑且受正则性约束的确定性映射,在抵达尖锐的分类读出层之前,无法解决离散的分支选择问题。因此,少步生成的失败由解码器的“锐度”决定,而非由传输精度决定。换言之,问题出在文本解码器把连续潜变量映射为离散 token 的方式上,而不在于扩散或流模型本身把噪声搬到潜空间的能力。
在真实文本自编码器普遍存在的重叠区间(overlapping regime)中,作者证明了定理 3:后验均值(posterior mean)的终端步骤会以与潜空间质量成正比的速率翻转 token,而这一质量集中在决策边界周围一个宽度为 O(s(t)) 的管状区域内。这意味着在边界附近,潜空间里微小的变化就足以让解码器输出完全不同的 token。
为了验证这一理论,作者在已发布的检查点上测量了两个诊断指标:DABI(读出锐度)和 CCI(分类承诺度)。结果显示,四个独立构建的连续文本解码器会把一个与边界对齐的扰动放大到远超等范数各向同性扰动的程度,DABI 从 5×10² 一路升到超过 10⁵;相比之下,图像解码器的 DABI 仅约为 1。这一数量级差异直观地说明了文本解码器对边界附近扰动的极端敏感性。
论文进一步指出,有两种机制可以摆脱这一连续域的限制。第一种是“分类承诺”(categorical commitment):自回归解码器尽管读出层更尖锐,却依然能够成功,因为它们在每一步都强制做出离散选择。第二种是“随机重注入”(stochastic re-injection):在同一个模型上,K=4 的确定性 ODE 得到困惑度 294,而 SDE 则得到 50,说明注入随机性可以显著改善少步生成质量。
在理想化的分离区间(separated regime)中,作者证明了与之匹配的锐利传输定律,并给出了一张维度相图:一旦潜空间维度达到 Ω(log M),分离 M 个模态所需的确定性刚度会按 Θ(√log M) 增长;在固定维度下则按 M^{1/n} 增长。此外,深度为 B 的层级结构可以使每步峰值缩小 √B 倍(定理 5 至 7),而定理 17 用一条余面积恒等式把这些结果与重叠区间的管状结构联系起来。
综合来看,论文得出的结论是一个“精度—深度—刚度”之间的权衡:在确定性且连续的模型类别内部,这一代价是不可消除的,而上述两种机制都跳出了该类别。这一工作为理解少步文本生成为何难以奏效提供了几何层面的解释,也为未来设计文本生成架构指明了两个可能方向:要么显式地做出离散承诺,要么在采样过程中引入随机性。论文全文约 150 KB,可通过 arXiv 页面获取 PDF、实验性 HTML 以及 TeX 源码。