在2026年ACL多模态增强生成与多模态检索研讨会上,一篇题为《CRAFT:面向多模态视频问答的评论家优化自适应关键帧定位》的论文被接收。该研究由Mahesh Bhosale等六位作者共同完成,并已在arXiv上公开发布(编号2605.19075)。
论文针对现实新闻事件中的多视频问答任务,要求系统能够在异构视频档案中找出与查询相关的证据,并为每一个声明标注其来源。为此,作者提出了CRAFT(Critic-Refined Adaptive Key-Frame Targeting)流水线。CRAFT以查询为条件,结合了动态关键帧选择、逐视频自动语音识别(ASR)并支持多语言回退,以及一个混合评论家循环——在最终整合前迭代验证和修正声明。
该流水线集成了UNLI时序推理、DeBERTa-v3跨声明筛选和Llama-3.2-3B仲裁器,并设有最终的引用合并阶段,确保每个事实只出现一次且附带所有支持来源标识符。在MAGMaR 2026基准上,CRAFT取得了最佳总体平均值0.739、参考召回率0.810和引用F1值0.635。为了验证泛化性,作者还将WikiVideo转换为MAGMaR风格,构造了52个不重叠的事件查询;CRAFT在该数据集上同样表现强劲,平均性能达到0.823。
消融实验进一步表明,原子声明、ASR以及评论家循环是相对于普通查询条件基线的主要增益来源。原子声明将答案分解为可独立验证的最小单元,ASR提供了语音内容的文本基础,而评论家循环则通过反复检查和修正提升了答案的可靠性和引用准确性。
论文代码和实现细节已公开在GitHub上(https://github.com/bhosalems/CRAFT),供研究社区复现和进一步探索。该工作发表于计算机视觉与模式识别(cs.CV)以及人工智能(cs.AI)交叉领域,展示了多模态视频问答中证据聚合与引用归因的新思路。