eスポーツのライブ中継には、どのカメラを放送するかを決めるディレクターと、その映像に合わせて実況するキャスターという二つの役割が不可欠だ。どちらも過去の情報だけを頼りに、次の瞬間に何が起こるか分からない状態で毎秒判断を下す必要がある。既存のストリーミング・ビデオ言語モデルは実況を学習しているが、それは人間のディレクターがすでに制作した放送映像に対してのみであった。
論文「DirCast: Live Esports Directing and Commentary with a Single Streaming Video-Language Model」は、この問題をライブ制作のより上流へと押し進める。モデルは各プレイヤーの生カメラ映像を直接受け取り、演出と実況の両方を同時に担う。著者らは、履歴情報のみからカメラ選択と実況生成を独立して行う単一のストリーミング・ビデオ言語モデル、DirCastを提案する。
DirCastの仕組みは毎秒動作する。毎秒、全選手のカメラを低解像度で走査し、「保持または切り替え」というディレクティング・ポリシーによって、カメラを切り替えるかどうか、切り替えるならどこにするかを決定する。放送映像が決まると、モデルはその映像を高解像度で読み取り、その後で実況テキストを生成する。この設計は計算効率が高く、低解像度の走査が全視点をカバーし、高解像度処理は最終的に選ばれた映像のみに限定される。
長時間配信の計算コストを抑えるため、DirCastのコンテキスト管理は放送された映像と対応する実況のみを保持し、放送されなかった視点は徐々に期限切れとして破棄する。これにより、配信がどれだけ長く続いても、モデルが維持すべきコンテキストの規模は有界に保たれ、時間経過とともに無限に増大することを防ぐ。
研究チームは訓練と評価のために、27試合のプロDota 2試合を含む専門データセットを構築した。各試合にはヒーローごとの独立したカメラ視点、人間ディレクターのカメラ選択記録、人間キャスターの実況が含まれる。これはリアルタイムの演出と実況を研究するための希少なマルチモーダル注釈データである。
実験の結果、DirCastの演出はルールベースの手法や、GPT-5を含むゼロショットの演出を上回った。実況に関しては、Proact-VL評価プロトコルを用いて、DirCastが生成した実況はGPT-4oとの比較で29.2%の勝率を達成した。参考として、人間の放送映像を視聴する11のストリーミング実況モデルのうち最強のモデルの勝率は19.4%にとどまった。これはDirCastが演出タスクで有効なだけでなく、実況の品質においても既存の成品映像に依存する手法を大幅に上回ることを示している。
本論文はarXivに収録され、番号はarXiv:2610.31734v1、コンピュータビジョンとパターン認識（cs.CV）分野に属し、2026年10月22日に投稿された。全18ページ、図6点で、著者はZixian Gaoら8名である。本研究は、単一のストリーミング・ビデオ言語モデルがリアルタイムのライブ制作において持つ可能性を示し、eスポーツ中継の自動化に向けた新たな技術的道筋を提供する。