一项最新研究揭示了稳定扩散（Stable Diffusion）模型中一个令人意外的记忆化机制。来自韩国科学技术院（KAIST）的研究人员发现，该现象主要由CLIP文本编码器中的特定嵌入向量驱动，而非此前认为的提示词本身。该论文题为《Memorization In Stable Diffusion Is Unexpectedly Driven by CLIP Embeddings》，已被CVPR 2026 Findings接收，并于2026年4月6日提交至arXiv。
研究团队对CLIP嵌入进行了系统分析，将输入令牌分为四类：开始标记（sot）、提示词（pr）、结束标记（eot）和填充标记（pad），并分别对应嵌入向量v_sot、v_pr、v_eot、v_pad。他们意外地发现，在出现记忆化的情况下，提示词嵌入（v_pr）对生成结果的贡献极小，而填充嵌入（v_pad）却表现出强烈影响。进一步分析表明，填充嵌入之所以引发记忆，是因为它们在结构上复制了结束标记嵌入（v_eot）。在CLIP训练过程中，v_eot是唯一被显式优化的嵌入，而填充嵌入的复制行为无意中放大了v_eot的影响力，导致模型在生成图像时过度依赖这一单一嵌入，最终将训练数据中的特定图像“记住”并再现。
基于这一发现，研究人员提出了两种简单有效的推理时缓解策略。第一种方法是替换分词器中的默认填充令牌，将其改为感叹号（!），然后屏蔽v_eot嵌入；第二种方法是部分屏蔽v_pad嵌入。实验表明，这两种方法均能显著抑制记忆化，同时不降低图像生成质量。更重要的是，这些策略无需提前检测记忆化样本，可直接部署于现有系统，无需重新训练模型。
该研究为理解文本到图像扩散模型中的记忆化提供了新的理论视角，也为提升模型安全性和可解释性提供了实用工具。随着生成式AI的广泛应用，控制模型记忆化对于保护隐私和防止数据泄露具有重要意义。研究代码已开源，便于社区复现和进一步探索。