近日,来自学术机构的研究人员提出了一种名为SIRUS的训练无关推理时框架,用于从文本到视频(T2V)生成模型中有选择地移除目标概念。该工作已提交至arXiv,论文编号2607.14194,包含29页正文、9张图表和11张表格,详细阐述了方法细节与实验结果。与图像领域的概念擦除不同,视频生成中的遗忘需要抑制跨帧可能持续存在的目标概念,同时保留非目标主体、动作、场景和時間结构。SIRUS直接针对这一挑战,在不更新文本编码器或去噪网络的前提下,仅通过定位与目标概念相关的提示证据并在采样过程中抑制其表达来实现概念级遗忘。具体来说,给定一个目标概念的文本别名(例如“枪”或“毕加索风格”),SIRUS在生成过程中识别出与该概念相关的词嵌入,并在交叉注意力层中削弱其影响,从而在保留其他内容的同时抑制目标概念的出现。这种方法无需重新训练模型,因此可以快速部署到现有T2V系统中。
为了全面评估T2V遗忘性能,论文引入了一套视频导向的评估体系。该体系独立测量五个维度:目标遗忘成功率、非目标保持程度、视频质量变化、越狱鲁棒性以及部署效率。具体指标包括视频级失败标准(即整个视频是否包含目标概念)、帧级残余统计(每帧中目标概念的残留程度)、配对保持分析(比较有无遗忘时非目标内容的一致性)、基于VBench的质量诊断(衡量视频的帧质量、连贯性和动态效果)以及运行开销测量(计算额外推理时间)。这一评估框架为T2V遗忘研究提供了更细致且统一的标准化测试。
在CogVideoX模型上,针对安全、物体和风格五类概念(如暴力、汽车、梵高风格等)进行测试,SIRUS取得了平均70.4%的遗忘成功率和25.7%的帧命中率(即概念出现在少于25%的帧中),相比之下基线方法VideoEraser仅为44.4%和47.2%。更重要的是,SIRUS将VBench视频质量平均下降从-0.043显著降低至-0.016,实现了遗忘效果与生成质量之间最优的平衡。这意味着遗忘后的视频几乎与原始视频质量相当,且远超其他对比方法。
为了验证泛化能力,研究者在Wan2.2骨干网络上进行了迁移实验,该网络是另一种流行的T2V架构。结果初步表明,SIRUS能够有效适应不同的现代T2V架构,无需针对特定模型进行调整。这一特性降低了实际部署成本,为可控视频生成的内容安全与隐私保护提供了新的技术路径。研究人员表示,未来计划进一步探索SIRUS在更复杂场景下的应用,如多目标联合遗忘与动态概念抑制,并考虑如何利用视频中的时序信息提升抑制效果。此外,SIRUS的开源代码预计将在后续发布,以促进相关研究和应用。