長編動画の質問応答は、冗長なコンテンツの中から時間的に散在する視覚的証拠を特定する必要があるため、非常に困難なタスクです。現在のマルチモーダル大規模言語モデル（MLLM）は短編動画では優れた性能を示しますが、長編動画では長期的な探索と検証が必要となり、多くの場合、マルチターンのエージェント対話を必要とします。既存の長編動画理解エージェントは「証拠不一致」を示すことが明らかになっています。つまり、正しい答えを生成するものの、その答えが取得または検査された証拠によって裏付けられていないのです。
この失敗を特徴づけるために、著者らは時間的接地性と意味的接地性という2つの診断指標を導入しました。時間的接地性は証拠の時間的位置が正確かどうかを測定し、意味的接地性は証拠の内容が答えと一致するかを評価します。これらの指標を用いて、不一致を増幅する2つの圧力が明らかにされました。それは、推論時におけるプロンプト圧力（共有コンテキストの飽和による）と、訓練時における報酬圧力（結果のみの最適化による）です。これらの発見は、構造的な根本原因を示しています。すなわち、結合されたエージェントパラダイムは、長期計画と回答権限を混同しており、計画の決定が回答生成に直接影響し、証拠検証が軽視されているのです。
そこで本論文では、分離型プランナー・インスペクターフレームワーク（VideoSEAL）を提案します。このフレームワークは、計画と回答権限を完全に分離し、プランナーが検索戦略を立案し、インスペクターがピクセルレベルの検証を行い、その結果に基づいて最終回答をゲートします。4つの長編動画ベンチマークにおいて、提案フレームワークは回答精度と証拠整合性の両方を改善し、LVBenchで55.1％、LongVideoBenchで62.0％を達成するとともに、解釈可能な検索軌跡を生成します。さらに、分離型アーキテクチャは検索予算の増加に伴って一貫してスケールし、プランナーを再訓練することなくMLLMバックボーンのプラグアンドプレイアップグレードをサポートします。コードとモデルはGitHubで公開されています。本論文はICML 2026に採択され、全33ページ、13の図表を含みます。研究チームは複数の機関からなり、Chenhao Qiuが主著者です。
この研究は、長編動画理解エージェントの信頼性に新たな方向性を提供し、回答の正確性を向上させるだけでなく、答えが信頼できる証拠に裏付けられていることを保証します。これは、医療動画分析や自動運転シーンにおける動画理解など、リスクの高いアプリケーションにとって特に重要です。将来の研究では、インスペクターの効率をさらに最適化し、より多くのモダリティへの一般化を探求することが期待されます。