跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

COMPASS:在统一多模态模型中落地构图意图引导

文章摘要

COMPASS 是首个统一多模态框架,通过共享专家令牌 τ_c 同时实现构图感知与构图引导生成,并构建了 Comp-11 大规模数据集。

来源arXiv AI作者: Ziqi Zhou, Weize Quan, Mining Tan, Zhihan Chen, Dandan Zheng, Jingdong Chen, Jun Zhou, Weiming Dong, Dong-Ming Yan
COMPASS:在统一多模态模型中落地构图意图引导
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

COMPASS 是一项发表于 arXiv 的新研究(arXiv:2606.28696v1,cs.AI,提交于 2026 年 6 月 27 日),由 Ziqi Zhou 及另外 8 位作者合作完成,目标是解决统一多模态模型中一个长期被忽视的短板:对构图意图的理解与可控生成。构图是一种高层次的视觉意图,它决定了画面中各个主体被放置在什么位置、整个场景如何组织,然而当前的主流统一多模态模型在细粒度构图识别上并不可靠,也难以把这种意图转化为可控的图像生成结果。COMPASS 的核心主张是,把构图感知与构图引导的生成统一到同一个系统之中,并以一个共享的专家 token(记作 τ_c)作为整个框架的意图锚点。

在感知一侧,COMPASS 以尽量不侵入原有结构的方式,把构图专业知识注入到 MoE 主干网络中,并把模型推断出的构图意图蒸馏进 τ_c 这个 token 中。在生成一侧,COMPASS 直接复用同一个 τ_c 作为全局条件信号,用它来引导扩散模型的去噪轨迹,从而把原本被动的构图分析转化为显式的布局控制。这一设计的关键在于:感知阶段得到的意图表征与生成阶段使用的条件信号是同一个对象,避免了两个任务之间的表征割裂,使系统能够真正“理解构图”并用这种理解去“控制构图”。

为了支撑大规模、系统化的、遵循指令的构图学习与评测,研究团队构建了 Comp-11 数据集。该数据集采用 11 类分类体系,并配有经过推理增强的标注,为模型学习构图类别、以及评估模型对构图指令的遵循程度提供了基础。论文中的大量实验表明,COMPASS 在类别级构图理解方面相较基线有显著提升,同时在生成质量上表现出更强的构图一致性与对提示词的忠实度,优于多个强基线方法。

从方法与工程角度看,这项工作的重要性体现在三个方面。其一,它把构图识别与布局控制放在统一框架内,用共享 token 打通感知与生成,为统一多模态模型的细粒度控制提供了新的思路。其二,它提出的最小侵入式专家注入与意图蒸馏策略,让研究者能在不破坏既有主干能力的前提下增强构图理解。其三,Comp-11 的 11 类分类体系与推理增强标注,为后续研究提供了可复用的评测基准,有助于推动指令级构图控制这一方向的标准化比较。

需要说明的是,该论文目前为 arXiv 预印本 v1 版本,尚需经过同行评审与后续复现验证;其公开摘要主要给出了框架设计与实验结果的整体结论,关于具体实现细节、算力开销、失败案例以及在更开放场景下的泛化表现,仍有待全文与后续工作进一步披露。论文于 2026 年 6 月 27 日 02:43:13 UTC 提交,全文约 20,107 KB,可通过 arXiv 获取 PDF、实验性 HTML 与 TeX 源码。

展开要点与分析

文章情报

投资人进阶

要点

  • 提出统一框架 COMPASS,用共享专家令牌 τ_c 锚定构图意图,连接感知与生成。
  • 在 MoE 骨干中微创注入构图知识,并将推断意图蒸馏到 τ_c。
  • 构建 Comp-11 数据集,包含 11 类构图分类体系和推理增强标注。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。