電子競技直播通常需要兩個關鍵角色:導播決定當前播出哪個鏡頭,解說員則圍繞畫面進行即時評述。兩者都必須基於過去的資訊、在不知道下一秒會發生什麼的情況下,逐秒做出判斷。現有的流式影片語言模型雖然已經學會了解說,但它們的輸入是經過人類導播剪輯後的成品畫面,而非原始的多路影片流。
來自 arXiv 的論文《DirCast: Live Esports Directing and Commentary with a Single Streaming Video-Language Model》將問題推進到更前端的直播製作環節:模型直接接收每位選手的原始鏡頭,並同時承擔導播與解說的雙重任務。作者提出了 DirCast,一個單一的流式影片語言模型,能夠從歷史資訊中獨立完成鏡頭選擇和解說生成。
DirCast 的工作機制是逐秒執行。每一秒,它以低解析度掃描所有選手的攝像頭畫面,透過一個“保持或切換”的導播策略決定是否切換鏡頭以及切換到哪個鏡頭。一旦確定播出畫面,模型會以高解析度讀取該畫面,然後再生成解說詞。這種設計在計算上非常高效,因為低解析度掃描覆蓋全部視角,而高解析度處理僅針對最終選中的畫面。
為了控制長時直播的計算成本,DirCast 的上下文管理策略只保留已經播出的畫面和對應的解說內容,其他未播出的視角會逐漸過期並被丟棄。這樣一來,無論直播持續多長時間,模型需要維護的上下文規模都被限制在一個有界範圍內,避免了隨著時間推移而無限增長的開銷。
為了訓練和評估模型,研究團隊構建了一個專業資料集,包含 27 場 Dota 2 職業比賽。每場比賽都提供了每位英雄的獨立攝像頭視角,以及人類導播的鏡頭選擇記錄和人類解說員的 commentary。這為研究即時導播與解說提供了稀缺的多模態標註資料。
實驗結果顯示,DirCast 的導播表現優於基於規則的導播方法和零樣本導播方案,其中包括 GPT-5 等強基線。在解說方面,採用 Proact-VL 評估協議,DirCast 生成的解說在與 GPT-4o 的對比中勝率達到 29.2%。作為參照,在十一個觀看人類導播畫面的流式解說模型中,表現最強的模型勝率僅為 19.4%。這表明 DirCast 不僅在導播任務上有效,其解說質量也顯著超越了依賴成品畫面的現有方法。
該論文已被 arXiv 收錄,編號為 arXiv:2610.31734v1,屬於計算機視覺與模式識別(cs.CV)領域,提交於 2026 年 10 月 22 日,共 18 頁、6 幅圖。作者為 Zixian Gao 等 8 人。這項研究展示了單一流式影片語言模型在即時直播製作中的潛力,為自動化電競賽事轉播提供了新的技術路徑。