本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

推論時概念抑制とテキストからビデオへのモデルのビデオ中心評価

記事の要約

本論文では、テキストからビデオ(T2V)モデルにおける概念レベルのアンラーニングのための、学習不要な推論時フレームワークSIRUSを提案する。SIRUSは、ターゲット概念に関連するプロンプト証拠を特定し、サンプリング中にその表現を抑制する。テキストエンコーダやノイズ除去ネットワークの更新は不要である。また、ターゲット忘却、非ターゲット保持、映像品質、脱獄ロバスト性、効率を個別に測定するビデオ中心評価フレームワークを導入。CogVideoXにおいて、SIRUSは平均忘却成功率70.4%、フレームヒット率25.7%を達成し、VideoEraserの44.4%/47.2%を上回り、VBench品質低下を平均-0.043から-0.016に低減した。Wan2.2への転移実験により、SIRUSが現代のT2Vバックボーンに一般化することが示唆される。

ソースarXiv Computer Vision著者: Wenxuan Chen, Wenjie Feng
推論時概念抑制とテキストからビデオへのモデルのビデオ中心評価
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

最近、学術研究者らはテキストからビデオ(T2V)生成モデルから特定の概念を選択的に除去するための、学習不要の推論時フレームワーク「SIRUS」を提案した。本研究成果はarXiv(論文ID: 2607.14194)で公開されており、29ページの本文、9つの図、11の表から構成されている。画像領域の概念消去とは異なり、ビデオ生成におけるアンラーニングでは、フレーム間で持続する可能性のあるターゲット概念を抑制しつつ、非ターゲットの被写体、動作、シーン、時間構造を保持する必要がある。SIRUSは、テキストエンコーダやノイズ除去ネットワークを更新することなく、ターゲット概念に関連するプロンプト証拠を特定し、サンプリング中にその表現を抑制することにより、この課題に直接取り組む。具体的には、ターゲット概念のテキスト別名(例:「銃」や「ピカソスタイル」)が与えられると、SIRUSは生成プロセス中にその概念に関連する単語埋め込みを特定し、クロスアテンション層での影響を弱めることで、他の内容を保持しながらターゲット概念の出現を抑制する。この手法は再学習が不要なため、既存のT2Vシステムに迅速に展開できる。

T2Vアンラーニングを包括的に評価するため、本論文ではビデオ指向の評価体系を導入した。この体系は、ターゲット忘却成功率、非ターゲット保持度、ビデオ品質の変化、脱獄ロバスト性、デプロイ効率の5つの次元を独立に測定する。具体的な指標として、ビデオレベルの失敗基準(ビデオ全体にターゲット概念が含まれるかどうか)、フレームレベルの残差統計(各フレームのターゲット概念残留度)、ペア保持分析(忘却有無での非ターゲット内容の一貫性比較)、VBenchベースの品質診断(フレーム品質、一貫性、ダイナミクスを測定)、実行オーバーヘッド測定(追加推論時間)を含む。これにより、T2Vアンラーニング研究のためのより詳細で統一された評価基準を提供する。

CogVideoXモデルにおいて、安全、物体、スタイルの5つの概念(例:暴力、自動車、ゴッホスタイル等)に対してテストした結果、SIRUSは平均忘却成功率70.4%、フレームヒット率25.7%(概念が25%未満のフレームに出現)を達成し、ベースライン手法VideoEraserの44.4%、47.2%を大きく上回った。さらに重要なことに、SIRUSはVBenchビデオ品質の平均低下を-0.043から-0.016に大幅に低減し、忘却効果と生成品質の間で最適なバランスを実現した。忘却後のビデオは元のビデオとほぼ同等の品質であり、他の手法を凌駕している。

汎化能力を検証するため、別のT2VアーキテクチャであるWan2.2バックボーン上で転移実験を実施した。結果は、SIRUSが特定のモデルに調整することなく、異なる現代的なT2Vアーキテクチャに効果的に適応できることを示唆している。この特性は実際のデプロイコストを削減し、制御可能なビデオ生成におけるコンテンツセキュリティとプライバシー保護のための新たな技術経路を提供する。研究チームは今後、複数ターゲットの同時忘却や動的概念抑制など、より複雑なシナリオでのSIRUSの応用をさらに探索する予定であり、ビデオの時系列情報を活用して抑制効果を高める方法も検討している。SIRUSのオープンソースコードは後日公開される予定である。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • SIRUSは、プロンプト内のターゲット概念を特定・抑制することでT2Vモデルの概念レベルのアンラーニングを実現する学習不要の推論時フレームワーク。
  • 忘却、保持、品質、ロバスト性、効率を個別に測定するビデオ中心の評価フレームワークを提案。
  • CogVideoXにおいて、SIRUSは70.4%の忘却成功率と-0.016の品質損失を達成し、VideoEraserを上回る。
  • 転移実験により、SIRUSがWan2.2などの他のT2Vバックボーンに一般化可能であることを示す。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。