跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

DirCast:用單一流式影片語言模型實現電競直播導播與解說

文章摘要

DirCast 是一個統一的流式影片語言模型,能夠同時完成電競直播的鏡頭導播和解說。它每秒低解析度掃描所有選手鏡頭,決定是否切換及切換目標,再以高解析度讀取所選畫面並生成解說。在 27 場職業 Dota 2 比賽資料集上,其導播表現優於規則式和包括 GPT-5 在內的零樣本方案,解說在對抗 GPT-4o 的比較中勝率達 29.2%。

來源arXiv Computer Vision作者: Zixian Gao, Lixin Xiu, Penghao Luo, Xiangcheng Cao, Ziqi Cai, Zhen Li, Erwin Wu, Kaipeng Zhang
DirCast:用單一流式影片語言模型實現電競直播導播與解說
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

電子競技直播通常需要兩個關鍵角色:導播決定當前播出哪個鏡頭,解說員則圍繞畫面進行即時評述。兩者都必須基於過去的資訊、在不知道下一秒會發生什麼的情況下,逐秒做出判斷。現有的流式影片語言模型雖然已經學會了解說,但它們的輸入是經過人類導播剪輯後的成品畫面,而非原始的多路影片流。

來自 arXiv 的論文《DirCast: Live Esports Directing and Commentary with a Single Streaming Video-Language Model》將問題推進到更前端的直播製作環節:模型直接接收每位選手的原始鏡頭,並同時承擔導播與解說的雙重任務。作者提出了 DirCast,一個單一的流式影片語言模型,能夠從歷史資訊中獨立完成鏡頭選擇和解說生成。

DirCast 的工作機制是逐秒執行。每一秒,它以低解析度掃描所有選手的攝像頭畫面,透過一個“保持或切換”的導播策略決定是否切換鏡頭以及切換到哪個鏡頭。一旦確定播出畫面,模型會以高解析度讀取該畫面,然後再生成解說詞。這種設計在計算上非常高效,因為低解析度掃描覆蓋全部視角,而高解析度處理僅針對最終選中的畫面。

為了控制長時直播的計算成本,DirCast 的上下文管理策略只保留已經播出的畫面和對應的解說內容,其他未播出的視角會逐漸過期並被丟棄。這樣一來,無論直播持續多長時間,模型需要維護的上下文規模都被限制在一個有界範圍內,避免了隨著時間推移而無限增長的開銷。

為了訓練和評估模型,研究團隊構建了一個專業資料集,包含 27 場 Dota 2 職業比賽。每場比賽都提供了每位英雄的獨立攝像頭視角,以及人類導播的鏡頭選擇記錄和人類解說員的 commentary。這為研究即時導播與解說提供了稀缺的多模態標註資料。

實驗結果顯示,DirCast 的導播表現優於基於規則的導播方法和零樣本導播方案,其中包括 GPT-5 等強基線。在解說方面,採用 Proact-VL 評估協議,DirCast 生成的解說在與 GPT-4o 的對比中勝率達到 29.2%。作為參照,在十一個觀看人類導播畫面的流式解說模型中,表現最強的模型勝率僅為 19.4%。這表明 DirCast 不僅在導播任務上有效,其解說質量也顯著超越了依賴成品畫面的現有方法。

該論文已被 arXiv 收錄,編號為 arXiv:2610.31734v1,屬於計算機視覺與模式識別(cs.CV)領域,提交於 2026 年 10 月 22 日,共 18 頁、6 幅圖。作者為 Zixian Gao 等 8 人。這項研究展示了單一流式影片語言模型在即時直播製作中的潛力,為自動化電競賽事轉播提供了新的技術路徑。

展開要點與分析

文章情報

工程師進階

要點

  • DirCast 是首個同時進行即時導播和解說的單一流式影片語言模型,僅依賴過去資訊。
  • 模型每秒低解析度掃描全部選手鏡頭,用“保持或切換”策略決定播出畫面,再高解析度讀取後生成解說。
  • 上下文僅保留已播出畫面和解說,其他視角過期,從而將任意長度直播的成本控制在有限範圍。
  • 在 27 場職業 Dota 2 比賽上,導播優於規則式和零樣本方案;解說對 GPT-4o 勝率 29.2%,遠超最強流式解說模型的 19.4%。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。