跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

從結構反饋到提示詞策略:學習忠實的文本到圖像提示詞編輯器

文章摘要

StruPO 提出一種基於場景圖的結構感知提示詞編輯器,將結構反饋轉化為可複用的編輯策略,在保持場景內容的同時提升關係保真度,並避免迭代式批評-重寫循環。

來源arXiv AI作者: Wentao Ye, Yali Ye, Zhiqing Xiao, Ru Peng, Xinpeng Ti, Liyao Li, Zhanming Shen, Peng Lu, Jie Zhang, Haobo Wang
從結構反饋到提示詞策略:學習忠實的文本到圖像提示詞編輯器
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

arXiv 於 2026 年 10 月 26 日發佈了編號為 2610.36146 的論文《從結構反饋到提示策略:學習忠實的文本到圖像提示編輯器》,第一作者為 Wentao Ye,共有十位作者合作完成。該論文歸類於人工智能方向(cs.AI),全文約 9 MB,提供 PDF、實驗性 HTML 以及 TeX 源碼等訪問方式,DOI 為 10.48550/arXiv.2610.36146,由 DataCite 發放(尚待註冊)。

論文關注的是文本到圖像生成中的一個關鍵矛盾:提示詞優化的目標應當是改善用户最終得到的圖像,同時不改變用户所要求的場景內容。然而現實中,帶有風格化色彩的改寫往往會削弱畫面中物體的屬性以及物體之間的關係,即便整體文本與圖像之間的相似度仍然維持在較高水平,這種失真也很難被察覺。換言之,通用的相似度指標會掩蓋結構性信息的流失。

為解決這一問題,作者提出了 StruPO,一種結構感知的提示編輯器。其核心思路是使用經過校準的場景圖作為共享表示,同時服務於兩個目的:一是作為策略的條件輸入,二是作為基於圖像的真實監督信號。場景圖明確指出了哪些內容必須被保留,而刪除、重排序與插入這三種操作則提供了與詞元對齊的提示修改方式。通過這種方式,結構反饋不再只是外部給出的批評意見,而被轉化為可訓練信號,用於學習一個可複用的編輯策略。

作者指出,要從這類信號中學習,必須同時應對兩類不確定性:一是場景圖接地本身可能不可靠,二是圖像生成過程具有隨機性。為此,StruPO 通過平滑的獎勵塑形來保留接地置信度,並在計算組相對優勢之前,對每一次編輯所對應的多張生成圖像取平均,以降低生成噪聲對訓練信號的干擾。

實驗設置覆蓋三個互不重疊的 2K 提示測試集,以及四個凍結的生成骨幹模型。對比對象包括已學習的提示優化器、迭代式結構反饋方法、擴散模型微調以及推理階段的注意力控制方法。結果顯示,StruPO 改善了忠實度與美學之間的權衡,並在關係保真度上取得了一致的提升。

除自動評估外,作者還引入了獨立自動評估器與一項由 15 名標註者參與的人體研究,兩類證據相互補充。值得注意的是,隨着關係複雜度的提高,人類偏好上的領先幅度也隨之擴大,説明該方法在結構更復雜的場景中更具優勢。

消融實驗進一步將性能增益分別歸因於圖條件化、局部編輯以及基於圖像的學習這三個組成部分。最終得到的策略在完成圖校準之後,可以在一次前向過程中直接生成可複用的優化文本,無需再進行“批評—重寫”的迭代循環,這為實際部署帶來了效率上的優勢。

論文提交時間為 2026 年 10 月 26 日 18:50:50 UTC。作者在 arXiv 頁面上還提供了音頻摘要等附加功能,並可通過 Semantic Scholar、Google Scholar、Connected Papers 等外部工具查看引用與相關文獻信息。

展開要點與分析

文章情報

工程師進階

要點

  • StruPO 使用校準後的場景圖作為策略條件和圖像監督的共享表示,明確提示詞中應保留的內容。
  • 通過刪除、重排序和插入實現詞元對齊的局部編輯,並將結構反饋轉化為訓練信號。
  • 在三個 2K 提示詞測試集和四個凍結生成骨幹上,StruPO 在關係保真度上取得一致提升,人類偏好優勢隨關係複雜度增加。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。