近年來,影像生成模型在單影像合成領域取得了令人矚目的成果,然而當需要生成連續影像序列(如漫畫、故事板或視覺敘事)時,這些模型往往難以保持角色、風格和場景的一致性。針對這一挑戰,來自學術界的研究團隊提出了長上下文生成(Long-Context Generation,簡稱LCG)框架,旨在提升多影像文本到影像生成在長序列下的一致性與可擴充套件性。
LCG的核心創新包括兩大技術:稀疏關係注意力(SRA)機制和路由一致性約束(RCC)。SRA透過選擇性地關注跨擴充套件視覺上下文中的核心特徵,使得語義和佈局資訊的傳播在計算上保持高效且可操作。與傳統的全連線注意力不同,SRA只對關鍵關係進行建模,從而顯著降低了計算複雜度,同時保留了必要的全域性資訊。RCC則利用身份感知掩碼來對齊不同生成分支中的結構模式,有效抑制了複雜多角色場景中的外觀漂移現象。這一約束確保了同一角色在不同影像中保持視覺一致性,即使場景變化較大。
為了支援大規模訓練和標準化評估,研究團隊構建了一個專門的資料集——長上下文一致性資料集(LCCD)。LCCD是一個大規模的合成資料集,包含60萬個訓練序列和獨立的1000個測試序列,每個序列由6至20張影像組成,聚焦於角色在不同情境下的表現。資料集的多樣性和規模為長上下文影像生成的研究提供了堅實的基礎。
在實驗中,LCG與多個基線模型進行了比較,包括基於擴散模型的傳統方法。結果表明,LCG在提示對齊和角色一致性方面顯著優於現有方法,特別是在多角色場景下,其優勢更為突出。這一成果為視覺敘事、漫畫自動化生成以及互動式故事板建立等實際應用提供了有效的解決方案。
未來的研究方向可能包括將LCG擴充套件到更廣泛的視覺上下文,例如不同解析度、動態背景或跨模態輸入,以及進一步最佳化模型的計算效率以適應即時應用場景。