StrAD：長編動画のオーディオ記述生成のためのストリーミング手法とベンチマーク
研究者らは、長編動画全体を対象とするオーディオ記述（AD）生成のベンチマーク「StrAD」とストリーミング手法を提案。正解タイムスタンプなしでスライディングウィンドウにより字幕にADを挿入し、微調整モデルとゼロショット視覚言語モデルの両方に対応する。StrAD-FTは複数のベンチマークで最先端の成果を達成している。
視覚コンテンツはコミュニケーションの中心的な媒体ですが、オーディオ記述（AD）がなければ、視覚障害者やロービジョンの人々はその内容にアクセスできません。ADは、自然な音声の間隙に、文脈に関連する視覚的な出来事を言葉で説明するものです。しかし、手作業によるAD作成はコストが高く、既存のコンテンツのごく一部にしか提供されていません。既存の自動AD生成手法の多くは、このタスクを映像クリップのキャプショニングとして扱い、正解タイムスタンプやキャラクターデータベースなどの追加コンテキストを必要とします。既存のベンチマークもこの枠組みを強化しており、短い映像セグメントと、自動生成またはタスクと一致しないアノテーションで構成されています。
この問題に対し、研究者らは多様なジャンル（映画、ドキュメンタリー、短編映画、パフォーマンス、ビデオゲームなど）の長編動画を対象とするAD生成ベンチマーク「StrAD」を導入しました。StrADは、AD生成をストリーミング型の高密度ビデオキャプショニングとして再定義します。このアプローチは、スライディングウィンドウで長編動画全体を処理し、正解タイムスタンプなしで既存のトランスクリプトにADを挿入します。さらに、ファインチューニング済みモデルと、視覚言語モデルへのゼロショットプロンプトの両方に対応しています。
セグメントレベルのタスクでは、ファインチューニング済みのStrAD-FTが、CMD-ADでCIDEr 36.3を達成し、Shot-by-shotを+10.0上回って最先端を更新しました。StrAD上では51.0 CIDErという参照点を確立し、MAD-Evalでは24.9 CIDErと競争力を維持しています。一方、フル動画ストリーミングタスクでは、StrAD-FTのSODAスコアは2.4で、ゼロショットベースラインStrAD-Zeroの1.1を上回るものの、両者とも時間的定位と物語の一貫性に課題があることが示されました。
従来の研究は、オフラインで多段階の処理により全動画AD生成に取り組んでいましたが、StrADは、正解タイムスタンプなしでADをオンザフライ生成する初のストリーミングアプローチです。これにより、全動画AD生成の進歩を測定可能にし、アクセシビリティのスケール拡大に必要な基盤を提供します。本論文は2026年8月にarXivへ投稿され、コンピュータビジョンとパターン認識（cs.CV）に分類されています。