在流形假设下可证明学习扩散模型：崩溃与细化
本文提出崩溃与细化机制，解释扩散模型如何在低维流形上高效学习得分函数，并基于此设计SiLD框架，理论证明样本复杂度取决于内在维度，实验验证性能优于VAE基潜在扩散模型。
近年来，扩散模型在生成高维数据方面展现出卓越能力，但其训练过程如何有效学习得分函数并避开维度灾难（当数据位于低维流形上时）一直缺乏理论解释。最新研究《Provably Learning Diffusion Models under the Manifold Hypothesis: Collapse and Refine》揭示了这一谜题背后的崩溃与细化机制，并提出了名为Score-induced Latent Diffusion (SiLD)的两阶段框架。该研究由Wei Huang等七位作者完成，于2026年5月16日提交至arXiv。
通过深入分析扩散模型的训练动力学，作者发现得分函数自身的几何特性驱动了训练过程。在小噪声尺度下，得分的发散奇异性迫使去噪映射快速“崩溃”到数据流形投影上，实现维度降低；在中等噪声尺度下，训练则专注于“细化”所学流形上的内在密度分布。这一过程无需显式的流形学习，而是通过单一的去噪得分匹配目标自然涌现，从而替代了VAE基潜在扩散模型中启发式的KL正则化，实现了更简洁高效的两阶段学习框架。
理论分析表明，SiLD的样本复杂度仅依赖于数据的固有维度，而非环境维度，这为扩散模型在高维数据上的高效性提供了严格证明，是连接流形假设与可学习性的重要理论进展。实验部分，研究者在Stacked MNIST、CelebA变体以及分子生成基准上验证了SiLD的性能。结果显示，SiLD在生成质量上与VAE基潜在扩散模型相当或更优，且在重构任务上持续改进，充为支持了理论预测。该工作不仅为理解扩散模型的训练动力学提供了新视角，也为基于得分几何设计更高效的生成模型开辟了道路。