近年来，文本扩散模型作为自回归生成的一种有前景的替代方案引起了广泛关注。与自回归模型逐词生成不同，扩散模型通过迭代去噪从随机噪声中恢复文本，展现出强大的生成能力和灵活性。然而，这些模型的安全控制问题仍未得到充分探索。现有的安全方法主要面向自回归模型，通常依赖于事后过滤或推理时干预，这些方法在文本扩散模型中效果有限，因为扩散模型的生成过程具有高度非线性和迭代特性。
针对这一挑战，研究人员提出了安全感知去噪器（Safety-Aware Denoiser, SAD），一种集成安全指导的框架，专门用于文本扩散模型。SAD的核心思想是修改迭代去噪过程，使得最终步骤的文本样本被引导至文本空间中可证明安全的区域。具体来说，SAD在去噪的每一步中引入安全约束，通过调整噪声预测来避免生成不安全内容。作为一种推理时方法，SAD可以将安全约束直接整合到去噪器中，避免了重新训练底层扩散模型的高昂计算成本，从而实现了灵活、轻量级的安全指导。这意味着开发者可以轻松地为现有扩散模型添加安全功能，而无需从头开始训练或微调。
研究团队在多个安全维度上对SAD进行了评估，包括危险分类、记忆攻击和越狱攻击。危险分类测试模型是否生成涉及暴力、仇恨等危险主题的文本；记忆攻击评估模型是否会泄露训练数据中的敏感信息；越狱攻击则测试模型能否被诱导绕过安全限制。实验结果表明，SAD显著减少了不安全内容的生成，同时保持了文本生成的质量、多样性和流畅性。与现有方法相比，SAD在安全性上取得了显著提升，而生成性能几乎没有损失。例如，在危险分类任务中，SAD将不安全输出率降低了约50%，同时保持了与基线相当的生成质量。
这些结果证明，在去噪过程中加入安全指导是一种有效且可扩展的机制，能够为文本扩散模型提供强有力的安全保障。该论文由Amman Yusuf等人撰写，共27页，包含12张图表，相关代码已开源。论文已被提交至arXiv，并归类于机器学习（cs.LG）和人工智能（cs.AI）领域。这一工作为文本扩散模型的安全应用迈出了重要一步，未来有望在内容生成、对话系统等场景中发挥关键作用。