マルチモーダル大規模言語モデル（MLLM）は、長編ビデオ要約において、特に長時間にわたる時間的忠実性の維持や、意味的かつ時間的に根拠付けられた要約の生成に大きな課題を抱えています。この課題に対処するため、Apple Machine Learning ResearchチームはLVSumを導入しました。これは、きめ細かい時間的アライメントを用いた長編ビデオ要約を評価するための人手アノテーション付きベンチマークです。LVSumは13のドメイン（スポーツ、ニュース、ドキュメンタリーなど）にわたる72本の多様なビデオ（平均16分）で構成され、各ビデオには時間参照を含む最大10個の人手生成要約が付与されており、合計700以上の人手要約が含まれています。これらの要約はビデオ内容を説明するだけでなく、イベント発生時刻を正確に示すタイムスタンプも含んでおり、モデルの時間情報活用能力を評価できます。
研究者らは、新たに導入したLLMベースの指標（コンテンツ関連性とモダリティ一貫性）と標準的な自動指標（ROUGE、METEORなど）を用いて、主要なプロプライエタリおよびオープンソースMLLM（GPT-4V、Gemini、LLaVAなど）の包括的な評価を実施しました。実験から3つの主要な発見が得られました：（1）書き起こしテキストは映像フレーム単独よりも要約品質に大幅に貢献する。これは、現在のMLLMが視覚的時間系列よりもテキスト情報の処理に優れていることを示しています。（2）モデル生成と人手作成の要約間には依然として顕著な性能ギャップが存在し、最高性能のモデルでも人間のレベルには遠く及びません。（3）現在のMLLMは時間的根拠付け、指示遵守、モーダル間一貫性において体系的な弱点を示します。例えば、イベントの順序を正確に識別できない、時間制約を無視する、視覚情報と言語情報の統合が不十分であるなどです。
この研究は、MLLMの時間的理解能力を改善する必要性を強調し、将来の長編ビデオ要約研究のための標準化された評価ツールを提供します。コードとデータセットはGitHubで公開されており、研究者が利用できます。さらに、論文は多くの現在のモデルがフレームレベルの空間情報に依存し、時間的ダイナミクスを無視していることを指摘し、これがビデオ理解タスクでのパフォーマンスを制限していると述べています。LVSumの公開はこの分野の発展を促進し、より時間認識能力の高いマルチモーダルモデルの開発を促すことが期待されます。