揭秘擴散模型的創造力

擴散模型是當前最強大的生成工具之一，廣泛應用於影像生成和分子發現等任務。它們展現出超越訓練資料的泛化能力，即所謂的“創造力”。例如，在訓練於真實影像資料集後，它們可以將隨機噪聲樣本轉化為新穎、高質量的影像。這種創造能力令人印象深刻，但同時也引出一個有趣的問題：它從何而來？理解這一問題的答案，是揭開基於擴散的生成式AI“黑箱”本質的重要一步。

為此，在ICLR 2026發表的論文《On the Interpolation Effect of Score Smoothing in Diffusion Models》中，谷歌研究團隊深入數學層面回答了這一問題。他們證明，模型的創造力並非偶然，而是神經網路訓練在生成過程中自然“平滑”從噪聲到資料轉換的結果。

理解去噪過程

訓練擴散模型首先從一組真實訓練資料樣本（如貓照片）開始，故意用噪聲破壞它們，直到完全無法識別。然後訓練模型逐步逆轉這種破壞，從而從純噪聲中重建出逼真的影像，這一過程稱為去噪。如果模型僅基於訓練樣本完美學習去噪過程，那麼部署時它將產生這些樣本的精確副本（即記憶行為）。在這種情況下，模型充當檢索工具而非能生成新輸出的創造引擎。然而，在實踐中，擴散模型通常不止於記憶；它們能夠泛化以生成新資料樣本。

為了理解擴散模型實際如何去噪，可以將隨機噪聲想象成散佈在房間中的一團氣體粒子，一個“力場”將每個粒子拉向特定方向，直到它們形成有意義的形狀。在擴散模型中，運動的粒子是經歷去噪的單個資料點。“力場”是分數函式（SF），它從訓練資料中學習，並決定粒子在任何給定時刻應流向何處。如果模型依賴從訓練資料完美學習的分數函式，力場會將粒子驅動到精確複製訓練資料點的位置（即記憶）。

擴散模型的創造力：一維示例

研究發現，擴散模型的創造力實際上源於神經網路典型學習的近似性質：由於正則化導致的不完美訓練，自然會使學習的分數函式輕微模糊，這一過程稱為“分數平滑”。這進而導致去噪過程生成在訓練點之間插值（即落在兩者之間的空間）的資料，從而建立新的、合理的樣本。

想象一個一維世界，只有兩個訓練資料點：+1和-1。在去噪過程的後期，“完美”分數函式看起來像一條曲線，在兩點的中間有陡峭的符號變化，意味著在0附近拉力方向迅速切換。換言之，整個空間幾乎被尖銳地分成兩部分，左邊的粒子被拉向-1，右邊的粒子被拉向+1。最終，每個粒子收斂到兩個訓練資料點之一，從而發生記憶。

然而，在實踐中，擴散模型無法訪問“完美”分數函式，而是使用神經網路學習的近似版本。由於訓練中權重衰減的正則化效應，神經網路很難學習具有這些陡峭懸崖的函式。相反，它們傾向於學習更平滑的“完美”分數函式版本，將陡峭的下降柔化為平緩的坡度。為了說明這一點，研究人員設定了一個實驗，訓練兩層ReLU神經網路來擬合一維示例中的分數函式，使用流行的AdamW演算法在不同程度的權重衰減（WD）下最佳化引數。實驗表明，權重衰減越強，中間區域學習的分數函式越平滑，意味著該區域的粒子流動比以前更慢，最終將停留在兩個訓練資料點之間的“插值區”。論文透過結合神經網路正則化的函式空間理論和去噪數學來量化這一聯絡。此外，實驗還表明，即使沒有權重衰減等顯式正則化策略，由梯度演算法訓練的神經網路中隱含的正則化效應也可能導致分數平滑。

分數平滑促進流形恢復

在現實世界中，高解析度影像等複雜資料存在於高維畫素空間中，而非簡單的一維世界。然而，該空間的絕大多數只是對人類無意義的隨機噪聲。只有一小部分資料點對應可識別的影像，它們位於所謂的資料流形上（就像嵌入在更大空間中的一張薄片）。模型事先不知道資料流形的形狀和位置。因此，影像生成可以被視為流形恢復任務，模型需要根據從中取樣的有限訓練資料推斷隱藏資料流形的樣子，然後在流形上生成新點，這些點對應新穎且有意義的影像。事實證明，分數平滑對於擴散模型實現這一點至關重要。

值得注意的是，在多維環境中，分數平滑的效果表現為方向依賴。沿著與隱藏資料流形平行（或“切線”）的方向，它產生類似於一維場景的減速效應。然而，沿著指向流形的方向，“完美”分數函式已經相對平滑（事實上，如果流形是平坦的，它就是一條直線），進一步平滑不會產生太大差異。因此，分數平滑不會在每一方向上都對粒子流施加制動（那樣會使它們停滯在噪聲空域中，導致最終影像模糊），而是僅沿切線方向降低它們向訓練資料坍縮的趨勢。透過這種方式，模型在質量和新穎性之間取得平衡：影像既逼真（因為它們成功到達有意義的流形），又新穎（因為它們落在原始訓練資料點之間的空白空間）。

結論

這些發現表明，我們所謂的擴散模型的“創造力”實際上可能是一個可預測的數學結果。由於神經網路從不“完美”尖銳，它們在已知資料之間建立了插值的橋樑。在影像生成或藥物發現中，這意味著擴散模型不僅記住它見過的兩張不同貓影像或藥物分子，還會探索它們周圍的空間，提出結合兩者痕跡的第三個全新影像或分子構型。

這項工作僅是闡明這一機制的初步努力，當資料分佈或神經網路架構變得更加複雜時，情況還有待觀察。儘管如此，透過證明這種行為從根本上源於神經網路的學習方式，我們可以開始有意地構建更好的“插值器”模型，以確保它們保持創造引擎的作用，同時避免盲目記憶的陷阱。論文中用於生成圖表的數值實驗程式碼已開放。