跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

DirCast:用单一流式视频语言模型实现电竞直播导播与解说

文章摘要

DirCast 是一个统一的流式视频语言模型,能够同时完成电竞直播的镜头导播和解说。它每秒低分辨率扫描所有选手镜头,决定是否切换及切换目标,再以高分辨率读取所选画面并生成解说。在 27 场职业 Dota 2 比赛数据集上,其导播表现优于规则式和包括 GPT-5 在内的零样本方案,解说在对抗 GPT-4o 的比较中胜率达 29.2%。

来源arXiv Computer Vision作者: Zixian Gao, Lixin Xiu, Penghao Luo, Xiangcheng Cao, Ziqi Cai, Zhen Li, Erwin Wu, Kaipeng Zhang
DirCast:用单一流式视频语言模型实现电竞直播导播与解说
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

电子竞技直播通常需要两个关键角色:导播决定当前播出哪个镜头,解说员则围绕画面进行实时评述。两者都必须基于过去的信息、在不知道下一秒会发生什么的情况下,逐秒做出判断。现有的流式视频语言模型虽然已经学会了解说,但它们的输入是经过人类导播剪辑后的成品画面,而非原始的多路视频流。

来自 arXiv 的论文《DirCast: Live Esports Directing and Commentary with a Single Streaming Video-Language Model》将问题推进到更前端的直播制作环节:模型直接接收每位选手的原始镜头,并同时承担导播与解说的双重任务。作者提出了 DirCast,一个单一的流式视频语言模型,能够从历史信息中独立完成镜头选择和解说生成。

DirCast 的工作机制是逐秒运行。每一秒,它以低分辨率扫描所有选手的摄像头画面,通过一个“保持或切换”的导播策略决定是否切换镜头以及切换到哪个镜头。一旦确定播出画面,模型会以高分辨率读取该画面,然后再生成解说词。这种设计在计算上非常高效,因为低分辨率扫描覆盖全部视角,而高分辨率处理仅针对最终选中的画面。

为了控制长时直播的计算成本,DirCast 的上下文管理策略只保留已经播出的画面和对应的解说内容,其他未播出的视角会逐渐过期并被丢弃。这样一来,无论直播持续多长时间,模型需要维护的上下文规模都被限制在一个有界范围内,避免了随着时间推移而无限增长的开销。

为了训练和评估模型,研究团队构建了一个专业数据集,包含 27 场 Dota 2 职业比赛。每场比赛都提供了每位英雄的独立摄像头视角,以及人类导播的镜头选择记录和人类解说员的 commentary。这为研究实时导播与解说提供了稀缺的多模态标注数据。

实验结果显示,DirCast 的导播表现优于基于规则的导播方法和零样本导播方案,其中包括 GPT-5 等强基线。在解说方面,采用 Proact-VL 评估协议,DirCast 生成的解说在与 GPT-4o 的对比中胜率达到 29.2%。作为参照,在十一个观看人类导播画面的流式解说模型中,表现最强的模型胜率仅为 19.4%。这表明 DirCast 不仅在导播任务上有效,其解说质量也显著超越了依赖成品画面的现有方法。

该论文已被 arXiv 收录,编号为 arXiv:2610.31734v1,属于计算机视觉与模式识别(cs.CV)领域,提交于 2026 年 10 月 22 日,共 18 页、6 幅图。作者为 Zixian Gao 等 8 人。这项研究展示了单一流式视频语言模型在实时直播制作中的潜力,为自动化电竞赛事转播提供了新的技术路径。

展开要点与分析

文章情报

工程师进阶

要点

  • DirCast 是首个同时进行实时导播和解说的单一流式视频语言模型,仅依赖过去信息。
  • 模型每秒低分辨率扫描全部选手镜头,用“保持或切换”策略决定播出画面,再高分辨率读取后生成解说。
  • 上下文仅保留已播出画面和解说,其他视角过期,从而将任意长度直播的成本控制在有限范围。
  • 在 27 场职业 Dota 2 比赛上,导播优于规则式和零样本方案;解说对 GPT-4o 胜率 29.2%,远超最强流式解说模型的 19.4%。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。