擴散模型在文本到影像生成領域取得了顯著進展,能夠合成複雜且高度結構化的視覺內容。然而,這些模型中語義結構的出現和演化過程仍然難以解釋。現有的分析方法大多依賴於聚合注意力或標量摘要,將時間變化與影像空間證據分離,導致對生成過程的理解不夠深入。為了彌補這一空白,Yiran Xiao和George Legrady提出了一種視覺化分析框架,專門用於探索擴散模型中的注意力動態。
該框架的核心是追蹤生成步驟中令牌級交叉注意力圖的演化,包括其時間集中度和空間關係。透過整合定量測量與資料驅動的階段識別,該框架在一個互動式工作流中實現了對注意力行為的結構化分析。具體而言,系統提供了連結的時間與空間檢視,使使用者能夠直觀地觀察注意力模式在生成過程中的變化。這種設計使得使用者不僅可以檢視每個步驟的注意力分佈,還可以對比不同步驟之間的動態演變,從而更全面地理解生成機制。
研究團隊在一個包含60個提示的結構化Stable-Diffusion類基準測試上進行了案例研究。結果表明,該框架能夠揭示反覆出現且可解釋的注意力模式,這些模式與生成內容的語義結構密切相關。例如,在生成物體時,注意力圖會從分散逐漸集中到目標區域,形成清晰的語義對應關係。連結的時間與空間檢視顯著促進了對生成過程的觀察和討論,使研究人員能夠更有效地協作分析模型的內部行為。
這項工作不僅為理解擴散模型提供了新的工具,還展示了視覺化分析如何增強人機協作。未來,該框架可應用於模型診斷、提示工程和互動式生成等領域,幫助使用者更好地控制和最佳化生成結果。論文作者來自加州大學聖塔芭芭拉分校,相關程式碼和資料已在GitHub上開源。