跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

从结构反馈到提示词策略:学习忠实的文本到图像提示词编辑器

文章摘要

StruPO 提出一种基于场景图的结构感知提示词编辑器,将结构反馈转化为可复用的编辑策略,在保持场景内容的同时提升关系保真度,并避免迭代式批评-重写循环。

来源arXiv AI作者: Wentao Ye, Yali Ye, Zhiqing Xiao, Ru Peng, Xinpeng Ti, Liyao Li, Zhanming Shen, Peng Lu, Jie Zhang, Haobo Wang
从结构反馈到提示词策略:学习忠实的文本到图像提示词编辑器
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于 2026 年 10 月 26 日发布了编号为 2610.36146 的论文《从结构反馈到提示策略:学习忠实的文本到图像提示编辑器》,第一作者为 Wentao Ye,共有十位作者合作完成。该论文归类于人工智能方向(cs.AI),全文约 9 MB,提供 PDF、实验性 HTML 以及 TeX 源码等访问方式,DOI 为 10.48550/arXiv.2610.36146,由 DataCite 发放(尚待注册)。

论文关注的是文本到图像生成中的一个关键矛盾:提示词优化的目标应当是改善用户最终得到的图像,同时不改变用户所要求的场景内容。然而现实中,带有风格化色彩的改写往往会削弱画面中物体的属性以及物体之间的关系,即便整体文本与图像之间的相似度仍然维持在较高水平,这种失真也很难被察觉。换言之,通用的相似度指标会掩盖结构性信息的流失。

为解决这一问题,作者提出了 StruPO,一种结构感知的提示编辑器。其核心思路是使用经过校准的场景图作为共享表示,同时服务于两个目的:一是作为策略的条件输入,二是作为基于图像的真实监督信号。场景图明确指出了哪些内容必须被保留,而删除、重排序与插入这三种操作则提供了与词元对齐的提示修改方式。通过这种方式,结构反馈不再只是外部给出的批评意见,而被转化为可训练信号,用于学习一个可复用的编辑策略。

作者指出,要从这类信号中学习,必须同时应对两类不确定性:一是场景图接地本身可能不可靠,二是图像生成过程具有随机性。为此,StruPO 通过平滑的奖励塑形来保留接地置信度,并在计算组相对优势之前,对每一次编辑所对应的多张生成图像取平均,以降低生成噪声对训练信号的干扰。

实验设置覆盖三个互不重叠的 2K 提示测试集,以及四个冻结的生成骨干模型。对比对象包括已学习的提示优化器、迭代式结构反馈方法、扩散模型微调以及推理阶段的注意力控制方法。结果显示,StruPO 改善了忠实度与美学之间的权衡,并在关系保真度上取得了一致的提升。

除自动评估外,作者还引入了独立自动评估器与一项由 15 名标注者参与的人体研究,两类证据相互补充。值得注意的是,随着关系复杂度的提高,人类偏好上的领先幅度也随之扩大,说明该方法在结构更复杂的场景中更具优势。

消融实验进一步将性能增益分别归因于图条件化、局部编辑以及基于图像的学习这三个组成部分。最终得到的策略在完成图校准之后,可以在一次前向过程中直接生成可复用的优化文本,无需再进行“批评—重写”的迭代循环,这为实际部署带来了效率上的优势。

论文提交时间为 2026 年 10 月 26 日 18:50:50 UTC。作者在 arXiv 页面上还提供了音频摘要等附加功能,并可通过 Semantic Scholar、Google Scholar、Connected Papers 等外部工具查看引用与相关文献信息。

展开要点与分析

文章情报

工程师进阶

要点

  • StruPO 使用校准后的场景图作为策略条件和图像监督的共享表示,明确提示词中应保留的内容。
  • 通过删除、重排序和插入实现词元对齐的局部编辑,并将结构反馈转化为训练信号。
  • 在三个 2K 提示词测试集和四个冻结生成骨干上,StruPO 在关系保真度上取得一致提升,人类偏好优势随关系复杂度增加。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。