关键帧指南针：迈向关键帧条件视频生成的全面评估

关键帧条件视频生成是一种越来越受关注的视频生成范式，创作者通过提供一系列参考图像（关键帧）来指导视频的生成过程。尽管近年来许多视频生成模型已经支持多关键帧条件输入，但这些模型能否在忠实再现指定关键帧的同时保持整体视频的自然流畅，仍然是一个未解之谜。为了解决这个问题，来自多所知名研究机构的20位作者联合提出了KeyFrame-Compass——首个旨在系统评估关键帧条件视频生成性能的综合性基准。

KeyFrame-Compass基准精心收集了386个测试样本，覆盖了三个应用领域（例如动画、电影制作和虚拟现实）、两种视频结构（叙事性和说明性）、两种提示粒度、两种条件格式以及四种关键帧密度。这种多样化的设计使得研究者能够在不同生成设置下进行严格的控制实验。此外，研究团队还设计了一套自动化评估框架，该框架能够同时衡量关键帧的执行情况和视频的整体质量。具体来说，关键帧执行被分解为六个互补的指标：存在性、保真度、时间顺序、定位、持续性和唯一性。视频整体质量则通过基于证据的多模态大语言模型（MLLM）进行判断，并辅以专门的感知模型来增强评估的可靠性。

在九个具有代表性的视频生成系统上进行的实验揭示了一些根本性的局限。当前模型在忠实执行关键帧与生成自然视频之间存在明显的权衡：越是对关键帧条件保持严格忠实，视频的整体自然度就越差。而且，随着关键帧约束密度的增加，模型的性能会进一步下降。更令人惊讶的是，大多数开源模型甚至无法将故事板网格输入正确解释为按时间顺序排列的关键帧序列，这表明它们在理解时间顺序方面存在严重缺陷。这些发现不仅指出了当前技术的瓶颈，也凸显了KeyFrame-Compass作为未来研究标准化评估工具的宝贵价值。该基准的发布将为推动关键帧条件视频生成技术的进步提供重要支撑。