條件擴散模型中組合泛化的局部機制
該研究探討了條件擴散模型如何在超出訓練分佈的組合條件下實現組合泛化，特別是長度泛化——生成比訓練時更多對象的圖像。通過在CLEVR數據集上的實驗，發現模型在某些情況下能實現長度泛化，但並非總是如此。研究者提出並證明了局部條件分數與特定組合結構（條件投影組合）之間的等價性，並驗證了局部條件分數是成功泛化的關鍵。因果乾預實驗顯示，強制局部條件分數可使原本失敗的模型實現長度泛化。在SDXL模型中，像素空間存在空間局部性但缺乏條件局部性，然而在特徵空間中發現了局部條件分數的證據。
Apple機器學習研究團隊發表了一篇論文，深入探討了條件擴散模型在組合泛化中的局部機制。組合泛化指的是模型能夠為訓練中未見過的條件組合生成合理樣本的能力，而長度泛化則是其具體表現——生成比訓練數據中包含更多對象的圖像。這項研究對於理解生成模型如何超越訓練數據分佈具有重要意義。
研究者在CLEVR數據集上進行了受控實驗，該數據集包含具有不同屬性（如顏色、形狀、大小）的3D物體圖像。他們訓練了條件擴散模型，並以物體數量作為條件變量。實驗發現，長度泛化在某些情況下可以達成，但並非所有模型都能成功。例如，當訓練時最多包含3個物體，模型有時能生成包含4個或5個物體的圖像，但有時卻失敗。這表明模型並未總是真正學會底層的組合結構，而是依賴於表面統計規律。
為了揭示背後的機制，研究團隊將注意力轉向了局部性概念。此前的研究（Kamb & Ganguli, 2024; Niedoba et al., 2024）提出分數局部性是無條件擴散模型創造性的機制，但未涉及靈活條件作用或組合泛化。本研究在此基礎上，證明了一種特定的組合結構（條件投影組合，Bradley et al., 2025）與同時依賴於像素和條件器的稀疏分數（局部條件分數）之間的精確等價關係。該理論還擴展到了特徵空間中的概念組合（如風格+內容），表明局部性可能是一個更廣泛的原理。
實驗驗證了理論：成功實現長度泛化的CLEVR模型展現出局部條件分數，即它們的得分函數在像素和條件上只有稀疏依賴；而失敗的模型則表現出全局依賴，得分函數對大量像素和條件敏感。進一步地，通過因果乾預，研究團隊強制模型學習局部條件分數，結果使一個原本失敗的模型成功實現了長度泛化。這直接證明了局部條件分數是泛化的原因。
最後，研究者分析了當前最先進的文本到圖像模型SDXL。他們發現在像素空間中，空間局部性存在（即像素間的依賴是局部的），但條件局部性大多缺失——圖像對文本描述的依賴是全局的。然而，在網絡的學得特徵空間中，定量證據表明存在局部條件分數，説明模型在抽象層次上可能利用了局部性。這一發現揭示了條件擴散模型實現組合泛化的重要內在機制，為未來設計更強大、更可解釋的生成模型提供了理論指導。