2026年のACL「マルチモーダル検索によるマルチモーダル拡張生成」ワークショップで採択された論文「CRAFT：マルチモーダル動画質問応答のための批評家洗練型適応キーフレームターゲティング」がarXivに公開された（番号2605.19075）。著者はMahesh Bhosale氏ら6名である。
本研究は、現実のニュースイベントに関するマルチ動画質問応答を対象としている。システムは異種の動画アーカイブからクエリに関連する証拠を提示し、すべての主張をその支持ソースに帰属させる必要がある。そこで著者らは、クエリ条件付きパイプラインであるCRAFT（Critic-Refined Adaptive Key-Frame Targeting）を提案した。CRAFTは、動的キーフレーム選択、動画ごとの自動音声認識（ASR）と多言語フォールバック、そして最終統合前に主張を反復的に検証・修正するハイブリッド批評家ループを組み合わせている。
このパイプラインは、UNLI時系列推論、DeBERTa-v3による主張間スクリーニング、Llama-3.2-3B adjudicatorを統合し、最終的な引用マージ段階で各事実を一度だけ出力し、すべての支持ソース識別子を付与する。MAGMaR 2026ベンチマークでは、CRAFTは総合平均0.739、参照再現率0.810、引用F1 0.635で最高性能を達成した。さらに、WikiVideoをMAGMaR形式に変換して52個の重複しないイベントクエリを作成し評価したところ、CRAFTは平均0.823と高い性能を示し、主張中心の証拠集約がMAGMaR以外にも一般化することを実証した。
アブレーション実験では、アトミッククレーム、ASR、批評家ループが、標準的なクエリ条件付きベースラインに対する主な性能向上要因であることが示された。アトミッククレームは回答を独立に検証可能な最小単位に分解し、ASRは音声内容のテキスト基盤を提供し、批評家ループは反復的なチェックと修正を通じて回答の信頼性と引用精度を高める。
コードと実装の詳細はGitHub（https://github.com/bhosalems/CRAFT）で公開されており、研究コミュニティによる再現とさらなる探求が可能である。本成果はコンピュータビジョンとパターン認識（cs.CV）および人工知能（cs.AI）の分野にまたがり、マルチモーダル動画質問応答における証拠集約と引用帰属の新たな方向性を示している。