關鍵幀條件影片生成是一種越來越受關注的影片生成正規化，創作者透過提供一系列參考影像（關鍵幀）來指導影片的生成過程。儘管近年來許多影片生成模型已經支援多關鍵幀條件輸入，但這些模型能否在忠實再現指定關鍵幀的同時保持整體影片的自然流暢，仍然是一個未解之謎。為了解決這個問題，來自多所知名研究機構的20位作者聯合提出了KeyFrame-Compass——首個旨在系統評估關鍵幀條件影片生成效能的綜合性基準。
KeyFrame-Compass基準精心收集了386個測試樣本，覆蓋了三個應用領域（例如動畫、電影製作和虛擬現實）、兩種影片結構（敘事性和說明性）、兩種提示粒度、兩種條件格式以及四種關鍵幀密度。這種多樣化的設計使得研究者能夠在不同生成設定下進行嚴格的控制實驗。此外，研究團隊還設計了一套自動化評估框架，該框架能夠同時衡量關鍵幀的執行情況和影片的整體質量。具體來說，關鍵幀執行被分解為六個互補的指標：存在性、保真度、時間順序、定位、持續性和唯一性。影片整體質量則透過基於證據的多模態大語言模型（MLLM）進行判斷，並輔以專門的感知模型來增強評估的可靠性。
在九個具有代表性的影片生成系統上進行的實驗揭示了一些根本性的侷限。當前模型在忠實執行關鍵幀與生成自然影片之間存在明顯的權衡：越是對關鍵幀條件保持嚴格忠實，影片的整體自然度就越差。而且，隨著關鍵幀約束密度的增加，模型的效能會進一步下降。更令人驚訝的是，大多數開源模型甚至無法將故事板網格輸入正確解釋為按時間順序排列的關鍵幀序列，這表明它們在理解時間順序方面存在嚴重缺陷。這些發現不僅指出了當前技術的瓶頸，也凸顯了KeyFrame-Compass作為未來研究標準化評估工具的寶貴价值。該基準的釋出將為推動關鍵幀條件影片生成技術的進步提供重要支撐。