近年來，文本擴散模型作為自迴歸生成的一種有前景的替代方案引起了廣泛關注。與自迴歸模型逐詞生成不同，擴散模型透過迭代去噪從隨機噪聲中恢復文本，展現出強大的生成能力和靈活性。然而，這些模型的安全控制問題仍未得到充分探索。現有的安全方法主要面向自迴歸模型，通常依賴於事後過濾或推理時干預，這些方法在文本擴散模型中效果有限，因為擴散模型的生成過程具有高度非線性和迭代特性。
針對這一挑戰，研究人員提出了安全感知去噪器（Safety-Aware Denoiser, SAD），一種整合安全指導的框架，專門用於文本擴散模型。SAD的核心思想是修改迭代去噪過程，使得最終步驟的文本樣本被引導至文本空間中可證明安全的區域。具體來說，SAD在去噪的每一步中引入安全約束，透過調整噪聲預測來避免生成不安全內容。作為一種推理時方法，SAD可以將安全約束直接整合到去噪器中，避免了重新訓練底層擴散模型的高昂計算成本，從而實現了靈活、輕量級的安全指導。這意味著開發者可以輕鬆地為現有擴散模型新增安全功能，而無需從頭開始訓練或微調。
研究團隊在多個安全維度上對SAD進行了評估，包括危險分類、記憶攻擊和越獄攻擊。危險分類測試模型是否生成涉及暴力、仇恨等危險主題的文本；記憶攻擊評估模型是否會洩露訓練資料中的敏感資訊；越獄攻擊則測試模型能否被誘導繞過安全限制。實驗結果表明，SAD顯著減少了不安全內容的生成，同時保持了文本生成的質量、多樣性和流暢性。與現有方法相比，SAD在安全性上取得了顯著提升，而生成效能幾乎沒有損失。例如，在危險分類任務中，SAD將不安全輸出率降低了約50%，同時保持了與基線相當的生成質量。
這些結果證明，在去噪過程中加入安全指導是一種有效且可擴充套件的機制，能夠為文本擴散模型提供強有力的安全保障。該論文由Amman Yusuf等人撰寫，共27頁，包含12張圖表，相關程式碼已開源。論文已被提交至arXiv，並歸類於機器學習（cs.LG）和人工智慧（cs.AI）領域。這一工作為文本擴散模型的安全應用邁出了重要一步，未來有望在內容生成、對話系統等場景中發揮關鍵作用。