電子競技直播通常需要兩個關鍵角色:導播決定當前播出哪個鏡頭,解説員則圍繞畫面進行實時評述。兩者都必須基於過去的信息、在不知道下一秒會發生什麼的情況下,逐秒做出判斷。現有的流式視頻語言模型雖然已經學會了解説,但它們的輸入是經過人類導播剪輯後的成品畫面,而非原始的多路視頻流。
來自 arXiv 的論文《DirCast: Live Esports Directing and Commentary with a Single Streaming Video-Language Model》將問題推進到更前端的直播製作環節:模型直接接收每位選手的原始鏡頭,並同時承擔導播與解説的雙重任務。作者提出了 DirCast,一個單一的流式視頻語言模型,能夠從歷史信息中獨立完成鏡頭選擇和解説生成。
DirCast 的工作機制是逐秒運行。每一秒,它以低分辨率掃描所有選手的攝像頭畫面,通過一個“保持或切換”的導播策略決定是否切換鏡頭以及切換到哪個鏡頭。一旦確定播出畫面,模型會以高分辨率讀取該畫面,然後再生成解説詞。這種設計在計算上非常高效,因為低分辨率掃描覆蓋全部視角,而高分辨率處理僅針對最終選中的畫面。
為了控制長時直播的計算成本,DirCast 的上下文管理策略只保留已經播出的畫面和對應的解説內容,其他未播出的視角會逐漸過期並被丟棄。這樣一來,無論直播持續多長時間,模型需要維護的上下文規模都被限制在一個有界範圍內,避免了隨着時間推移而無限增長的開銷。
為了訓練和評估模型,研究團隊構建了一個專業數據集,包含 27 場 Dota 2 職業比賽。每場比賽都提供了每位英雄的獨立攝像頭視角,以及人類導播的鏡頭選擇記錄和人類解説員的 commentary。這為研究實時導播與解説提供了稀缺的多模態標註數據。
實驗結果顯示,DirCast 的導播表現優於基於規則的導播方法和零樣本導播方案,其中包括 GPT-5 等強基線。在解説方面,採用 Proact-VL 評估協議,DirCast 生成的解説在與 GPT-4o 的對比中勝率達到 29.2%。作為參照,在十一個觀看人類導播畫面的流式解説模型中,表現最強的模型勝率僅為 19.4%。這表明 DirCast 不僅在導播任務上有效,其解説質量也顯著超越了依賴成品畫面的現有方法。
該論文已被 arXiv 收錄,編號為 arXiv:2610.31734v1,屬於計算機視覺與模式識別(cs.CV)領域,提交於 2026 年 10 月 22 日,共 18 頁、6 幅圖。作者為 Zixian Gao 等 8 人。這項研究展示了單一流式視頻語言模型在實時直播製作中的潛力,為自動化電競賽事轉播提供了新的技術路徑。