扩散模型中的注意力动态：人机协作的可视化分析框架

扩散模型在文本到图像生成领域取得了显著进展，能够合成复杂且高度结构化的视觉内容。然而，这些模型中语义结构的出现和演化过程仍然难以解释。现有的分析方法大多依赖于聚合注意力或标量摘要，将时间变化与图像空间证据分离，导致对生成过程的理解不够深入。为了弥补这一空白，Yiran Xiao和George Legrady提出了一种可视化分析框架，专门用于探索扩散模型中的注意力动态。

该框架的核心是追踪生成步骤中令牌级交叉注意力图的演化，包括其时间集中度和空间关系。通过整合定量测量与数据驱动的阶段识别，该框架在一个交互式工作流中实现了对注意力行为的结构化分析。具体而言，系统提供了链接的时间与空间视图，使用户能够直观地观察注意力模式在生成过程中的变化。这种设计使得用户不仅可以查看每个步骤的注意力分布，还可以对比不同步骤之间的动态演变，从而更全面地理解生成机制。

研究团队在一个包含60个提示的结构化Stable-Diffusion类基准测试上进行了案例研究。结果表明，该框架能够揭示反复出现且可解释的注意力模式，这些模式与生成内容的语义结构密切相关。例如，在生成物体时，注意力图会从分散逐渐集中到目标区域，形成清晰的语义对应关系。链接的时间与空间视图显著促进了对生成过程的观察和讨论，使研究人员能够更有效地协作分析模型的内部行为。

这项工作不仅为理解扩散模型提供了新的工具，还展示了可视化分析如何增强人机协作。未来，该框架可应用于模型诊断、提示工程和交互式生成等领域，帮助用户更好地控制和优化生成结果。论文作者来自加州大学圣塔芭芭拉分校，相关代码和数据已在GitHub上开源。