事前学習済みの動画大規模言語モデルは視覚的推論に優れているが、音声、深度マップ、密な時間的証拠などの補助ストリームが付随する動画には苦戦する。このような状況では、均一な融合がモダリティ間の干渉を引き起こし、無関係なチャネルがモデルの注意を散らす原因となる。
この課題に対処するため、Bonan Dingら7名の著者は2026年5月25日に論文を提出し、統一マルチモーダル動画理解フレームワーク「UniMVU」を発表した。このフレームワークの核となる革新は、テキスト命令に条件付けられた2段階の動的ゲーティング機構である。第1段階のモダリティ内ゲートは各モダリティ内の顕著な領域を強調し、第2段階のモダリティレベルゲートはモダリティストリーム全体を再重み付けする。これにより、モデルはすべての入力を平等に扱うのではなく、現在の命令に応じて各モダリティの重要度を適応的にバランスさせることができる。
アーキテクチャ上、UniMVUはクロスモーダル自己注意と命令駆動型のモダリティ内ゲーティングモジュールを組み合わせ、制御トークンを備えたモダリティレベルゲーティングモジュールを導入している。時間的に整列されたストリームに対しては、冗長性を減らすための高速-低速融合スキームも採用している。この設計により、手作業の融合ルールなしで、動画、音声、深度マップなど多様なモダリティに拡張できる。
実験では、AVQA、AVSD、Music-AVQA、ScanQA、SQA3D、MVBenchの6つのベンチマークでUniMVUを評価した。その結果、静的融合ベースラインと比較して、すべてのベンチマークで一貫した改善が見られ、CIDEr指標では最大13.5の向上を達成した。さらに分析により、ゲーティング機構が学習した重みは人間が解釈可能なモダリティ関連性と一致し、アブレーション実験はモダリティ内ゲートとモダリティレベルゲートのそれぞれの寄与を検証している。
全体として、UniMVUは命令認識型マルチモーダル動画理解のための簡潔で統一的なレシピを提供し、複雑な手作業の融合ルールに依存することなく、多様なモダリティ入力に柔軟に拡張できる。論文は19ページ、図8点、表7点を含むプレプリントであり、コンピュータビジョンとパターン認識の分野に属する。