跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

CRAFT:面向多模态视频问答的评论家优化自适应关键帧定位

文章摘要

CRAFT 是一种查询条件化的多视频问答流程,通过动态关键帧选择、多语言ASR回退和混合评论家循环,在MAGMaR 2026和WikiVideo转换数据集上实现了最佳引用F1和平均性能,消融实验表明原子声明、ASR和评论家循环是主要增益来源。

来源arXiv Computer Vision作者: Mahesh Bhosale, Abdul Wasi, Vishvesh Trivedi, Pengyu Yan, Akhil Gorugantu, David Doermann
CRAFT:面向多模态视频问答的评论家优化自适应关键帧定位
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在2026年ACL多模态增强生成与多模态检索研讨会上,一篇题为《CRAFT:面向多模态视频问答的评论家优化自适应关键帧定位》的论文被接收。该研究由Mahesh Bhosale等六位作者共同完成,并已在arXiv上公开发布(编号2605.19075)。

论文针对现实新闻事件中的多视频问答任务,要求系统能够在异构视频档案中找出与查询相关的证据,并为每一个声明标注其来源。为此,作者提出了CRAFT(Critic-Refined Adaptive Key-Frame Targeting)流水线。CRAFT以查询为条件,结合了动态关键帧选择、逐视频自动语音识别(ASR)并支持多语言回退,以及一个混合评论家循环——在最终整合前迭代验证和修正声明。

该流水线集成了UNLI时序推理、DeBERTa-v3跨声明筛选和Llama-3.2-3B仲裁器,并设有最终的引用合并阶段,确保每个事实只出现一次且附带所有支持来源标识符。在MAGMaR 2026基准上,CRAFT取得了最佳总体平均值0.739、参考召回率0.810和引用F1值0.635。为了验证泛化性,作者还将WikiVideo转换为MAGMaR风格,构造了52个不重叠的事件查询;CRAFT在该数据集上同样表现强劲,平均性能达到0.823。

消融实验进一步表明,原子声明、ASR以及评论家循环是相对于普通查询条件基线的主要增益来源。原子声明将答案分解为可独立验证的最小单元,ASR提供了语音内容的文本基础,而评论家循环则通过反复检查和修正提升了答案的可靠性和引用准确性。

论文代码和实现细节已公开在GitHub上(https://github.com/bhosalems/CRAFT),供研究社区复现和进一步探索。该工作发表于计算机视觉与模式识别(cs.CV)以及人工智能(cs.AI)交叉领域,展示了多模态视频问答中证据聚合与引用归因的新思路。

展开要点与分析

文章情报

工程师进阶

要点

  • CRAFT在MAGMaR 2026上取得最佳总体平均0.739、引用F1 0.635。
  • 在WikiVideo的52个事件查询上平均性能达0.823,表明方法可泛化。
  • 消融实验显示原子声明、ASR和混合评论家循环是主要提升因素。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。