跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

FreeStory:無需訓練的視覺故事生成中角色一致性保持方法

文章摘要

視覺故事生成要求影像序列與敘述提示對齊且角色外觀一致。現有免訓練方法依賴結構化提示(每句重複完整描述),不符合自然敘述。FreeStory透過實體引導的特徵複用,在自由形式提示下保持角色一致性,並引入FreeStoryBench基準,在單/多角色故事中均達到領先水平。

來源arXiv Computer Vision作者: Sibo Dong, Ismail Shaheen, Sarah Adel Bargal
FreeStory:無需訓練的視覺故事生成中角色一致性保持方法
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

視覺故事生成旨在生成與敘述提示對齊且角色外觀一致的影像序列。現有免訓練方法透過重用注意力特徵來提升一致性,但依賴結構化提示——每個提示中重複完整的角色描述。這種假設簡化了任務,卻偏離了自然敘述方式:角色通常只介紹一次,之後用代詞或型別化表達指代。

為解決這一侷限,來自多所機構的研究者提出了FreeStory,一個免訓練框架,將自由形式提示下的角色一致性重新定義為實體引導的特徵複用。該方法將參考指代與對應的角色描述關聯,結合動態角色掩碼、對應感知特徵匹配、鍵值注入和查詢混合,在保持身份的同時保留生成多樣性。

具體來說,FreeStory首先透過實體識別模組定位每個提及對應的角色描述。然後,利用動態角色掩碼突出相關區域,進行對應感知的特徵匹配,建立跨影像的對應關係。接著,透過鍵值注入將角色特徵注入到生成過程中,並使用查詢混合平衡身份保持與多樣性。這些元件協同工作,使得在自由形式提示(如“一個男孩在公園裡玩球。他隨後回家。”)下,角色外觀保持一致。

研究團隊還引入了FreeStoryBench,一個針對該設定的新基準,包含單角色和多角色故事,涵蓋多種敘述風格。實驗表明,FreeStory在結構化基準上達到了免訓練方法中的最先進效能,在自由形式提示下相比基線具有更強的整體一致性。該工作為無需額外訓練的自然故事視覺化提供了有效方案,尤其適用於使用者以更靈活方式描述角色的場景。未來工作可探索將該框架擴充套件到更多角色和更復雜的故事線。

展開要點與分析

文章情報

研究者進階

要點

  • FreeStory無需訓練,透過實體引導的特徵複用實現自由形式提示下的角色一致性。
  • 引入FreeStoryBench基準,包含單角色和多角色故事場景。
  • 在結構化基準和自由形式提示下均達到最優效能。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。