跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

推理时概念抑制与面向视频的文本到视频模型评估

文章摘要

本文提出SIRUS,一种无需训练的推理时框架,用于文本到视频(T2V)模型中的概念级遗忘。SIRUS通过定位与目标概念相关的提示证据并在采样过程中抑制其表达,无需更新文本编码器或去噪网络。同时,引入面向视频的评估框架,分别测量目标遗忘、非目标保持、视频质量、越狱鲁棒性和效率。在CogVideoX上,SIRUS在五个安全、物体和风格概念上平均遗忘成功率达70.4%,帧命中率25.7%,优于VideoEraser的44.4%和47.2%,并将VBench质量平均下降从-0.043降至-0.016。在Wan2.2上的迁移实验表明SIRUS可泛化至现代T2V骨干网络。

来源arXiv Computer Vision作者: Wenxuan Chen, Wenjie Feng
推理时概念抑制与面向视频的文本到视频模型评估
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近日,来自学术机构的研究人员提出了一种名为SIRUS的训练无关推理时框架,用于从文本到视频(T2V)生成模型中有选择地移除目标概念。该工作已提交至arXiv,论文编号2607.14194,包含29页正文、9张图表和11张表格,详细阐述了方法细节与实验结果。与图像领域的概念擦除不同,视频生成中的遗忘需要抑制跨帧可能持续存在的目标概念,同时保留非目标主体、动作、场景和時間结构。SIRUS直接针对这一挑战,在不更新文本编码器或去噪网络的前提下,仅通过定位与目标概念相关的提示证据并在采样过程中抑制其表达来实现概念级遗忘。具体来说,给定一个目标概念的文本别名(例如“枪”或“毕加索风格”),SIRUS在生成过程中识别出与该概念相关的词嵌入,并在交叉注意力层中削弱其影响,从而在保留其他内容的同时抑制目标概念的出现。这种方法无需重新训练模型,因此可以快速部署到现有T2V系统中。

为了全面评估T2V遗忘性能,论文引入了一套视频导向的评估体系。该体系独立测量五个维度:目标遗忘成功率、非目标保持程度、视频质量变化、越狱鲁棒性以及部署效率。具体指标包括视频级失败标准(即整个视频是否包含目标概念)、帧级残余统计(每帧中目标概念的残留程度)、配对保持分析(比较有无遗忘时非目标内容的一致性)、基于VBench的质量诊断(衡量视频的帧质量、连贯性和动态效果)以及运行开销测量(计算额外推理时间)。这一评估框架为T2V遗忘研究提供了更细致且统一的标准化测试。

在CogVideoX模型上,针对安全、物体和风格五类概念(如暴力、汽车、梵高风格等)进行测试,SIRUS取得了平均70.4%的遗忘成功率和25.7%的帧命中率(即概念出现在少于25%的帧中),相比之下基线方法VideoEraser仅为44.4%和47.2%。更重要的是,SIRUS将VBench视频质量平均下降从-0.043显著降低至-0.016,实现了遗忘效果与生成质量之间最优的平衡。这意味着遗忘后的视频几乎与原始视频质量相当,且远超其他对比方法。

为了验证泛化能力,研究者在Wan2.2骨干网络上进行了迁移实验,该网络是另一种流行的T2V架构。结果初步表明,SIRUS能够有效适应不同的现代T2V架构,无需针对特定模型进行调整。这一特性降低了实际部署成本,为可控视频生成的内容安全与隐私保护提供了新的技术路径。研究人员表示,未来计划进一步探索SIRUS在更复杂场景下的应用,如多目标联合遗忘与动态概念抑制,并考虑如何利用视频中的时序信息提升抑制效果。此外,SIRUS的开源代码预计将在后续发布,以促进相关研究和应用。

展开要点与分析

文章情报

工程师进阶

要点

  • SIRUS是一种无需训练的推理时概念遗忘框架,通过定位并抑制提示中的目标概念实现T2V模型控制。
  • 提出面向视频的评估体系,分别衡量遗忘、保持、质量、鲁棒性和效率。
  • 在CogVideoX上,SIRUS遗忘成功率70.4%,质量损失仅-0.016,优于VideoEraser。
  • 迁移实验证明SIRUS可泛化至其他T2V骨干网络如Wan2.2。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。