視覺故事生成旨在生成與敘述提示對齊且角色外觀一致的影像序列。現有免訓練方法透過重用注意力特徵來提升一致性,但依賴結構化提示——每個提示中重複完整的角色描述。這種假設簡化了任務,卻偏離了自然敘述方式:角色通常只介紹一次,之後用代詞或型別化表達指代。
為解決這一侷限,來自多所機構的研究者提出了FreeStory,一個免訓練框架,將自由形式提示下的角色一致性重新定義為實體引導的特徵複用。該方法將參考指代與對應的角色描述關聯,結合動態角色掩碼、對應感知特徵匹配、鍵值注入和查詢混合,在保持身份的同時保留生成多樣性。
具體來說,FreeStory首先透過實體識別模組定位每個提及對應的角色描述。然後,利用動態角色掩碼突出相關區域,進行對應感知的特徵匹配,建立跨影像的對應關係。接著,透過鍵值注入將角色特徵注入到生成過程中,並使用查詢混合平衡身份保持與多樣性。這些元件協同工作,使得在自由形式提示(如“一個男孩在公園裡玩球。他隨後回家。”)下,角色外觀保持一致。
研究團隊還引入了FreeStoryBench,一個針對該設定的新基準,包含單角色和多角色故事,涵蓋多種敘述風格。實驗表明,FreeStory在結構化基準上達到了免訓練方法中的最先進效能,在自由形式提示下相比基線具有更強的整體一致性。該工作為無需額外訓練的自然故事視覺化提供了有效方案,尤其適用於使用者以更靈活方式描述角色的場景。未來工作可探索將該框架擴充套件到更多角色和更復雜的故事線。