一項最新研究揭示了穩定擴散（Stable Diffusion）模型中一個令人意外的記憶化機制。來自韓國科學技術院（KAIST）的研究人員發現，該現象主要由CLIP文本編碼器中的特定嵌入向量驅動，而非此前認為的提示詞本身。該論文題為《Memorization In Stable Diffusion Is Unexpectedly Driven by CLIP Embeddings》，已被CVPR 2026 Findings接收，並於2026年4月6日提交至arXiv。
研究團隊對CLIP嵌入進行了系統分析，將輸入令牌分為四類：開始標記（sot）、提示詞（pr）、結束標記（eot）和填充標記（pad），並分別對應嵌入向量v_sot、v_pr、v_eot、v_pad。他們意外地發現，在出現記憶化的情況下，提示詞嵌入（v_pr）對生成結果的貢獻極小，而填充嵌入（v_pad）卻表現出強烈影響。進一步分析表明，填充嵌入之所以引發記憶，是因為它們在結構上覆制了結束標記嵌入（v_eot）。在CLIP訓練過程中，v_eot是唯一被顯式優化的嵌入，而填充嵌入的複製行為無意中放大了v_eot的影響力，導致模型在生成圖像時過度依賴這一單一嵌入，最終將訓練數據中的特定圖像“記住”並再現。
基於這一發現，研究人員提出了兩種簡單有效的推理時緩解策略。第一種方法是替換分詞器中的默認填充令牌，將其改為感嘆號（!），然後屏蔽v_eot嵌入；第二種方法是部分屏蔽v_pad嵌入。實驗表明，這兩種方法均能顯著抑制記憶化，同時不降低圖像生成質量。更重要的是，這些策略無需提前檢測記憶化樣本，可直接部署於現有系統，無需重新訓練模型。
該研究為理解文本到圖像擴散模型中的記憶化提供了新的理論視角，也為提升模型安全性和可解釋性提供了實用工具。隨着生成式AI的廣泛應用，控制模型記憶化對於保護隱私和防止數據泄露具有重要意義。研究代碼已開源，便於社區復現和進一步探索。