近日,來自學術機構的研究人員提出了一種名為SIRUS的訓練無關推理時框架,用於從文本到影片(T2V)生成模型中有選擇地移除目標概念。該工作已提交至arXiv,論文編號2607.14194,包含29頁正文、9張圖表和11張表格,詳細闡述了方法細節與實驗結果。與影像領域的概念擦除不同,影片生成中的遺忘需要抑制跨幀可能持續存在的目標概念,同時保留非目標主體、動作、場景和時間結構。SIRUS直接針對這一挑戰,在不更新文本編碼器或去噪網路的前提下,僅透過定位與目標概念相關的提示證據並在取樣過程中抑制其表達來實現概念級遺忘。具體來說,給定一個目標概念的文本別名(例如“槍”或“畢加索風格”),SIRUS在生成過程中識別出與該概念相關的詞嵌入,並在交叉注意力層中削弱其影響,從而在保留其他內容的同時抑制目標概念的出現。這種方法無需重新訓練模型,因此可以快速部署到現有T2V系統中。
為了全面評估T2V遺忘效能,論文引入了一套影片導向的評估體系。該體系獨立測量五個維度:目標遺忘成功率、非目標保持程度、影片質量變化、越獄魯棒性以及部署效率。具體指標包括影片級失敗標準(即整個影片是否包含目標概念)、幀級殘餘統計(每幀中目標概念的殘留程度)、配對保持分析(比較有無遺忘時非目標內容的一致性)、基於VBench的質量診斷(衡量影片的幀質量、連貫性和動態效果)以及執行開銷測量(計算額外推理時間)。這一評估框架為T2V遺忘研究提供了更細緻且統一的標準化測試。
在CogVideoX模型上,針對安全、物體和風格五類概念(如暴力、汽車、梵高風格等)進行測試,SIRUS取得了平均70.4%的遺忘成功率和25.7%的幀命中率(即概念出現在少於25%的幀中),相比之下基線方法VideoEraser僅為44.4%和47.2%。更重要的是,SIRUS將VBench影片質量平均下降從-0.043顯著降低至-0.016,實現了遺忘效果與生成質量之間最優的平衡。這意味著遺忘後的影片幾乎與原始影片質量相當,且遠超其他對比方法。
為了驗證泛化能力,研究者在Wan2.2骨幹網路上進行了遷移實驗,該網路是另一種流行的T2V架構。結果初步表明,SIRUS能夠有效適應不同的現代T2V架構,無需針對特定模型進行調整。這一特性降低了實際部署成本,為可控影片生成的內容安全與隱私保護提供了新的技術路徑。研究人員表示,未來計劃進一步探索SIRUS在更復雜場景下的應用,如多目標聯合遺忘與動態概念抑制,並考慮如何利用影片中的時序資訊提升抑制效果。此外,SIRUS的開原始碼預計將在後續釋出,以促進相關研究和應用。