本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

長尺動画理解におけるMLLMのバイアスの診断と補正

記事の要約

本論文は、長尺動画の質問応答がフレームの疎性だけでなく、偽の言語的相関や目立つが無関係な視覚的手がかりに起因するバイアスによって制約されていると主張する。診断用ベンチマークS-MMEと、拡張ビューでバイアスを推定し推論時に隠れ状態へ介入する訓練不要のCLEARを提案し、5つのベンチマークで一貫した改善を示した。

ソースarXiv Computer Vision著者: Xusheng Liang, Jianqiao Sun, Hao Zhang, Yulei Niu, Hengshuang Zhao, Jiawei Ma
長尺動画理解におけるMLLMのバイアスの診断と補正
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

長尺動画の質問応答が難しいのは、答えが動画全体に散らばるごく少数の決定的な瞬間に依存しているためである。一方でメモリ制約により、マルチモーダル大規模言語モデル(MLLM)は極端に低いレートでフレームをサンプリングせざるを得ず、その疎性が重要な証拠の欠落を招く危険がある。コンテキストサイズを積極的に拡大するのは直感的な対策だが、本論文は、性能が依然としてバイアスという根本的な要因に制約されていると主張する。

ここでいうバイアスには二種類の誤導的な手がかりが含まれる。一つは偽の言語的相関であり、モデルが動画内容ではなく質問文の表面的な共起や言い回しの傾向に基づいて答えを推測してしまうことを指す。もう一つは、視覚的に目立つものの質問とは無関係な観察である。コントラストが強い領域や動きの激しい領域はモデルの注意を引くが、回答に必要な証拠を含んでいないことがある。こうしたショートカットにより、証拠が不十分でもモデルはもっともらしい答えを出してしまう。

この問題を体系的に捉えるため、著者らはまずS-MMEベンチマークを提案する。これは長尺動画理解におけるMLLMのショートカット的バイアス行動を診断するために設計されており、モデルが実際に重要なフレームに基づいて答えているのか、それとも言語的・視覚的な表面的手がかりに依存しているのかを区別できるようにする。この診断ツールの意義は、性能低下の原因を単なるフレーム疎性の問題から、モデルの意思決定機構の検証へと移す点にある。

補正方針として、論文はCLEARと名付けた訓練不要のフレームワークを提案する。正式名称は反事実的長尺動画証拠認識推論である。CLEARは完全な動画と質問の組を完全ビューとみなし、その上で拡張ビューを構築する。一方は質問文のみを保持し、もう一方は局所的に顕著な視覚クリップのみを保持する。完全ビューとこれらの拡張ビューでの出力を比較することで、CLEARはバイアスが予測に与える影響を見積もる。

続いてCLEARは推論段階でモデルの隠れ状態に介入し、完全ビューと拡張ビューの間の表現の差異を緩和する。狙いは、モデルが本当に動画の証拠に基づく場合に、言語的・視覚的ショートカットに流されず、正解をより自信を持って予測できるようにすることである。プロセス全体に追加学習は不要なため、この手法は既存モデルにそのまま重ねて適用できる。

著者らは5つのベンチマークで実験を行い、本手法が汎用性を持ち、異なるMLLMに統合可能であり、予測精度と堅牢性の両方で一貫した向上をもたらすことを示した。著者らはCLEARが、コンテキスト拡大とは別の角度から、長尺動画理解におけるテスト時スケーリングに相補的な方向性を提供することを期待している。論文は10ページ・図6点で、コードも公開されており、コンピュータビジョンとパターン認識の分野に属し、2026年10月26日にarXivへ投稿された。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 長尺動画タスクにおけるMLLMのショートカット的バイアスを体系的に診断するベンチマークS-MMEを導入。
  • 質問のみ、または局所的に顕著なクリップのみを保持する拡張ビューでバイアス効果を推定する、訓練不要のCLEARを提案。
  • 推論時に隠れ状態へ介入し、完全ビューと拡張ビューの差異を緩和することで、正解をより自信を持って予測できるようにする。
  • 5つのベンチマークでの実験により、異なるMLLMに統合可能で、予測性能と堅牢性に一貫した改善をもたらすことを示した。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。