キーフレーム条件付き動画生成は、クリエイターが一連の参照画像（キーフレーム）を指定して動画生成をガイドするワークフローとして、近年注目を集めています。最近のモデルは複数キーフレーム条件をサポートしていますが、指定されたキーフレームを忠実に再現しつつ、動画全体の品質を維持できるかどうかは明確ではありません。この課題に取り組むため、複数の研究機関からなる20名の著者チームは、キーフレーム条件付き動画生成の包括的な評価を目的とした初のベンチマーク「KeyFrame-Compass」を提案しました。
KeyFrame-Compassは、386の厳選されたサンプルから構成されており、3つのアプリケーションドメイン（アニメーション、映画制作、VRなど）、2つの動画構造（物語型と説明型）、2つのプロンプト粒度、2つの条件形式、4つのキーフレーム密度をカバーしています。この多様性により、さまざまな生成設定の下での制御された分析が可能になります。さらに、研究チームは自動評価フレームワークを導入し、キーフレームの実行状況と全体的な動画品質を同時に測定します。キーフレーム実行は、存在、忠実度、時間順序、位置特定、持続性、一意性という6つの補完的な指標に分解されます。動画全体の品質は、証拠に基づくマルチモーダル大規模言語モデル（MLLM）の判断に、専門的な知覚モデルを組み合わせて評価されます。
9つの代表的な動画生成システムを用いた実験では、いくつかの根本的な限界が明らかになりました。現在のモデルは、忠実なキーフレーム実行と自然な動画合成の間に明確なトレードオフを示しています。つまり、キーフレームに厳密に従おうとすると、動画の自然さが損なわれます。さらに、キーフレームの制約が密になるほど性能は低下し、ほとんどのオープンソースモデルはストーリーボードグリッド入力を時系列のキーフレームシーケンスとして解釈できません。これらの発見は、キーフレーム条件付き動画生成の分野にはまだ大きな改善の余地があることを示しており、KeyFrame-Compassは今後の研究において重要な評価ツールとして機能することが期待されます。本ベンチマークの公開は、コミュニティ全体の進歩を加速させるでしょう。