跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

VideoOdyssey:超长上下文与全模态视频理解基准

文章摘要

VideoOdyssey 是一个新的视频理解基准,它通过“连续证书长度”这一指标来衡量模型在超长视频中进行连续跟踪、信息整合和记忆保持的认知负荷,包含视觉和音视频两个子集,视频平均时长 109 分钟。

来源arXiv Computer Vision作者: Haichen He, Jiayi Zhou, Sifeng Shang, Yihan Hu, Yuanhan Zhang, Kaiyang Zhou
VideoOdyssey:超长上下文与全模态视频理解基准
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

VideoOdyssey 是一个专为超长上下文与全模态视频理解而设计的基准测试,相关论文以 arXiv:2605.22907 提交于 2026 年 5 月 21 日,作者为 Haichen He 等共 6 人,归类于计算机视觉与模式识别(cs.CV)。该研究指出,真实世界中的长视频理解要求模型在极长的时间跨度内持续跟踪目标、整合信息并保持记忆,而驾驭这种高强度的认知负荷正是长视频理解的根本瓶颈。

论文认为,尽管已有基准通过不断延长视频时长推动了领域进展,但其评测任务往往只需理解简短且相互孤立的视频片段,无法真正体现超长上下文推理的挑战。为衡量这种认知负荷,作者提出了“连续证据长度”(continuous certificate length)这一指标,定义为人类必须连续观看多长时间的视频才能确定性地回答某个问题。

基于该指标,研究团队构建了 VideoOdyssey 基准,其具备三项核心特征。第一是极端的视频时长与多样性:数据集覆盖 11 个领域和 54 个子类别,平均视频时长达 109 分钟。第二是全面的评测场景:基准提供两个子集以对应不同的研究重点,其中 VideoOdyssey-V 用于探测多模态大模型(MLLM)在视觉理解上的极限,VideoOdyssey-AV 则用于评估全模态模型在同步音视频理解方面的能力。第三是超长且多层次的连续证据:VideoOdyssey-V 的平均连续证据长度延长至 16 分钟,VideoOdyssey-AV 则为 12.8 分钟。

尤为关键的是,作者设计了从秒到小时共 5 个粒度级别,从而提供了一套完整的诊断工具,可在不同上下文长度与认知负荷下评测模型表现。论文的大规模评测结果显示,当前多模态大模型的瓶颈已不局限于简单的信息检索,还包括跨不同上下文长度的连续推理困难、细粒度感知不足,以及非语言的全模态理解能力欠缺。该论文的全文、PDF、HTML 实验版与 TeX 源码均可在 arXiv 上获取,其 DOI 由 DataCite 颁发,提交历史显示该版本于 2026 年 5 月 21 日 18:00:22 UTC 上传,文件大小约 12,663 KB。

展开要点与分析

文章情报

投资人进阶

要点

  • 引入“连续证书长度”指标,衡量人类必须连续观看多长视频才能确定回答一个问题。
  • 涵盖 11 个领域 54 个子类,平均视频时长 109 分钟。
  • 分为 VideoOdyssey-V(视觉)和 VideoOdyssey-AV(音视频)两个子集。
  • 设计 5 个粒度级别,从秒到小时提供诊断工具。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。