揭秘扩散模型的创造力

扩散模型是当前最强大的生成工具之一，广泛应用于图像生成和分子发现等任务。它们展现出超越训练数据的泛化能力，即所谓的“创造力”。例如，在训练于真实图像数据集后，它们可以将随机噪声样本转化为新颖、高质量的图像。这种创造能力令人印象深刻，但同时也引出一个有趣的问题：它从何而来？理解这一问题的答案，是揭开基于扩散的生成式AI“黑箱”本质的重要一步。

为此，在ICLR 2026发表的论文《On the Interpolation Effect of Score Smoothing in Diffusion Models》中，谷歌研究团队深入数学层面回答了这一问题。他们证明，模型的创造力并非偶然，而是神经网络训练在生成过程中自然“平滑”从噪声到数据转换的结果。

理解去噪过程

训练扩散模型首先从一组真实训练数据样本（如猫照片）开始，故意用噪声破坏它们，直到完全无法识别。然后训练模型逐步逆转这种破坏，从而从纯噪声中重建出逼真的图像，这一过程称为去噪。如果模型仅基于训练样本完美学习去噪过程，那么部署时它将产生这些样本的精确副本（即记忆行为）。在这种情况下，模型充当检索工具而非能生成新输出的创造引擎。然而，在实践中，扩散模型通常不止于记忆；它们能够泛化以生成新数据样本。

为了理解扩散模型实际如何去噪，可以将随机噪声想象成散布在房间中的一团气体粒子，一个“力场”将每个粒子拉向特定方向，直到它们形成有意义的形状。在扩散模型中，运动的粒子是经历去噪的单个数据点。“力场”是分数函数（SF），它从训练数据中学习，并决定粒子在任何给定时刻应流向何处。如果模型依赖从训练数据完美学习的分数函数，力场会将粒子驱动到精确复制训练数据点的位置（即记忆）。

扩散模型的创造力：一维示例

研究发现，扩散模型的创造力实际上源于神经网络典型学习的近似性质：由于正则化导致的不完美训练，自然会使学习的分数函数轻微模糊，这一过程称为“分数平滑”。这进而导致去噪过程生成在训练点之间插值（即落在两者之间的空间）的数据，从而创建新的、合理的样本。

想象一个一维世界，只有两个训练数据点：+1和-1。在去噪过程的后期，“完美”分数函数看起来像一条曲线，在两点的中间有陡峭的符号变化，意味着在0附近拉力方向迅速切换。换言之，整个空间几乎被尖锐地分成两部分，左边的粒子被拉向-1，右边的粒子被拉向+1。最终，每个粒子收敛到两个训练数据点之一，从而发生记忆。

然而，在实践中，扩散模型无法访问“完美”分数函数，而是使用神经网络学习的近似版本。由于训练中权重衰减的正则化效应，神经网络很难学习具有这些陡峭悬崖的函数。相反，它们倾向于学习更平滑的“完美”分数函数版本，将陡峭的下降柔化为平缓的坡度。为了说明这一点，研究人员设置了一个实验，训练两层ReLU神经网络来拟合一维示例中的分数函数，使用流行的AdamW算法在不同程度的权重衰减（WD）下优化参数。实验表明，权重衰减越强，中间区域学习的分数函数越平滑，意味着该区域的粒子流动比以前更慢，最终将停留在两个训练数据点之间的“插值区”。论文通过结合神经网络正则化的函数空间理论和去噪数学来量化这一联系。此外，实验还表明，即使没有权重衰减等显式正则化策略，由梯度算法训练的神经网络中隐含的正则化效应也可能导致分数平滑。

分数平滑促进流形恢复

在现实世界中，高分辨率图像等复杂数据存在于高维像素空间中，而非简单的一维世界。然而，该空间的绝大多数只是对人类无意义的随机噪声。只有一小部分数据点对应可识别的图像，它们位于所谓的数据流形上（就像嵌入在更大空间中的一张薄片）。模型事先不知道数据流形的形状和位置。因此，图像生成可以被视为流形恢复任务，模型需要根据从中采样的有限训练数据推断隐藏数据流形的样子，然后在流形上生成新点，这些点对应新颖且有意义的图像。事实证明，分数平滑对于扩散模型实现这一点至关重要。

值得注意的是，在多维环境中，分数平滑的效果表现为方向依赖。沿着与隐藏数据流形平行（或“切线”）的方向，它产生类似于一维场景的减速效应。然而，沿着指向流形的方向，“完美”分数函数已经相对平滑（事实上，如果流形是平坦的，它就是一条直线），进一步平滑不会产生太大差异。因此，分数平滑不会在每一方向上都对粒子流施加制动（那样会使它们停滞在噪声空域中，导致最终图像模糊），而是仅沿切线方向降低它们向训练数据坍缩的趋势。通过这种方式，模型在质量和新颖性之间取得平衡：图像既逼真（因为它们成功到达有意义的流形），又新颖（因为它们落在原始训练数据点之间的空白空间）。

结论

这些发现表明，我们所谓的扩散模型的“创造力”实际上可能是一个可预测的数学结果。由于神经网络从不“完美”尖锐，它们在已知数据之间建立了插值的桥梁。在图像生成或药物发现中，这意味着扩散模型不仅记住它见过的两张不同猫图像或药物分子，还会探索它们周围的空间，提出结合两者痕迹的第三个全新图像或分子构型。

这项工作仅是阐明这一机制的初步努力，当数据分布或神经网络架构变得更加复杂时，情况还有待观察。尽管如此，通过证明这种行为从根本上源于神经网络的学习方式，我们可以开始有意地构建更好的“插值器”模型，以确保它们保持创造引擎的作用，同时避免盲目记忆的陷阱。论文中用于生成图表的数值实验代码已开放。