跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

LCG:基於稀疏關係注意力的長上下文一致影像生成

文章摘要

本文提出LCG框架,透過稀疏關係注意力(SRA)和路由一致性約束(RCC)實現長上下文多影像生成中的一致性和可擴充套件性,並構建了大規模合成資料集LCCD。實驗表明,LCG在提示對齊和角色一致性方面優於基線方法。

來源arXiv Computer Vision作者: Zihao Wang, Yijia Xu, Haoze Zheng, Xuran Ma, Haokun Gui, Harry Yang
LCG:基於稀疏關係注意力的長上下文一致影像生成
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近年來,影像生成模型在單影像合成領域取得了令人矚目的成果,然而當需要生成連續影像序列(如漫畫、故事板或視覺敘事)時,這些模型往往難以保持角色、風格和場景的一致性。針對這一挑戰,來自學術界的研究團隊提出了長上下文生成(Long-Context Generation,簡稱LCG)框架,旨在提升多影像文本到影像生成在長序列下的一致性與可擴充套件性。

LCG的核心創新包括兩大技術:稀疏關係注意力(SRA)機制和路由一致性約束(RCC)。SRA透過選擇性地關注跨擴充套件視覺上下文中的核心特徵,使得語義和佈局資訊的傳播在計算上保持高效且可操作。與傳統的全連線注意力不同,SRA只對關鍵關係進行建模,從而顯著降低了計算複雜度,同時保留了必要的全域性資訊。RCC則利用身份感知掩碼來對齊不同生成分支中的結構模式,有效抑制了複雜多角色場景中的外觀漂移現象。這一約束確保了同一角色在不同影像中保持視覺一致性,即使場景變化較大。

為了支援大規模訓練和標準化評估,研究團隊構建了一個專門的資料集——長上下文一致性資料集(LCCD)。LCCD是一個大規模的合成資料集,包含60萬個訓練序列和獨立的1000個測試序列,每個序列由6至20張影像組成,聚焦於角色在不同情境下的表現。資料集的多樣性和規模為長上下文影像生成的研究提供了堅實的基礎。

在實驗中,LCG與多個基線模型進行了比較,包括基於擴散模型的傳統方法。結果表明,LCG在提示對齊和角色一致性方面顯著優於現有方法,特別是在多角色場景下,其優勢更為突出。這一成果為視覺敘事、漫畫自動化生成以及互動式故事板建立等實際應用提供了有效的解決方案。

未來的研究方向可能包括將LCG擴充套件到更廣泛的視覺上下文,例如不同解析度、動態背景或跨模態輸入,以及進一步最佳化模型的計算效率以適應即時應用場景。

展開要點與分析

文章情報

投資人進階

要點

  • LCG框架利用稀疏關係注意力(SRA)選擇性關注核心特徵,確保語義和佈局資訊的高效傳播。
  • 路由一致性約束(RCC)透過身份感知掩碼對齊結構模式,減少複雜多角色場景中的外觀漂移。
  • 構建了包含60萬訓練序列和1000測試序列的Long-Context Consistency Dataset(LCCD),每序列6-20張影像。
  • 實驗證明LCG在長上下文影像生成中,尤其在多角色場景下,優於現有基線。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。