跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

在流形假设下可证明地学习扩散模型:坍缩与精炼

文章摘要

本文提出“坍缩-精炼”机制,解释扩散模型如何利用得分函数的几何特性绕过维数灾难,并实例化为SiLD框架,在多个基准上验证了理论预测。

来源arXiv Machine Learning作者: Wei Huang, Andi Han, Mingyuan Bai, Huanjian Zhou, Qixin Zhang, Taiji Suzuki, Kenji Fukumizu
在流形假设下可证明地学习扩散模型:坍缩与精炼
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

这篇题为《Provably Learning Diffusion Models under the Manifold Hypothesis: Collapse and Refine》的论文于2026年5月16日提交至arXiv,编号为2605.20235v1,属于机器学习(cs.LG)与人工智能(cs.AI)交叉领域,由Wei Huang等共7位作者完成。论文围绕扩散模型的一个核心理论空白展开:扩散模型虽然能够生成质量惊人的高维数据,但当数据实际分布在一个低维流形上时,其训练过程为何仍能高效地学习得分函数、并绕开维度灾难,此前一直没有得到理论上的解释。作者提出并论证了一种由得分函数自身几何结构驱动的“坍缩—精炼”(collapse-and-refine)机制,试图填补这一空白。

该机制可拆分为两个阶段。在较小的噪声尺度下,得分函数呈现出发散的奇异性,正是这一奇异性促使由去噪过程诱导出的映射迅速发生维度坍缩,最终收敛到数据流形的投影之上;而在中等噪声尺度下,训练则转向对已学到的流形之上的内在密度进行精炼。也就是说,同一套去噪过程在不同噪声区间承担了不同职责:先定位数据的低维支撑结构,再在该结构上刻画密度的细节。

作者将这一原理落实为名为 Score-induced Latent Diffusion(SiLD)的两阶段框架。与基于VAE的潜空间扩散模型不同,SiLD并不依赖启发式的KL正则化来获得潜空间,而是让流形学习与密度估计同时从单一的去噪得分匹配目标中自然涌现。这一设计上的简化具有实质意义:它把潜空间结构的获取从额外的正则化约束中解放出来,交由得分匹配本身完成。

理论方面,论文给出了一个关键结论:所得方法的样本复杂度取决于数据的内在维度,而非环境维度。这正好对应了扩散模型在高维场景下规避维度灾难的现象,也为“数据位于低维流形”这一假设下的可学习性提供了证明支撑。换言之,模型所需的样本量随流形的内在复杂度增长,而不是随观测空间的维数增长。

实验部分,作者在Stacked MNIST、CelebA的多个变体以及分子生成基准上进行了验证。结果显示,SiLD在生成质量上与基于VAE的潜扩散模型持平或更优,并在重建指标上持续改善,从而与论文的理论预测相互印证。论文附带3张图,全文约1,340 KB,可通过arXiv获取PDF、实验性HTML版本及TeX源码。

需要指出的是,本文的证据主要来自上述基准上的实验对比与理论推导,摘要中并未披露样本复杂度的具体阶数、各噪声尺度区间的划分方式,以及 SiLD 在不同流形假设下的适用边界;这些细节仍需查阅全文加以确认。

展开要点与分析

文章情报

工程师进阶

要点

  • 小噪声尺度下得分函数的奇异性驱动降维坍缩,将去噪映射投影到数据流形上。
  • 中等噪声尺度下训练精炼学习到的流形上的内在密度。
  • SiLD框架在单一去噪得分匹配目标中同时实现流形学习与密度估计,样本复杂度取决于内在维度。
  • 在Stacked MNIST、CelebA变体和分子生成任务上,SiLD匹配或超越基于VAE的潜在扩散模型。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。