跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

ICG:基於MLLM提示與個性化偏好對齊的封面圖像生成改進方法

文章摘要

本文提出ICG框架,通過融合多模態大語言模型(MLLM)提示與個性化偏好對齊,生成高質量、上下文相關的封面圖像。ICG利用元標記從商品標題和參考圖像中提取語義特徵,結合用户嵌入進行細化,並將個性化上下文注入擴散模型。採用多獎勵學習策略,結合公共美學/相關性獎勵和基於用户行為訓練的個性化偏好模型,無需標註數據。實驗表明,ICG在圖像質量、語義保真度和個性化方面顯著提升,增強了用户吸引力及下游推薦準確性。

來源arXiv Computational Linguistics作者: Zhipeng Bian, Jieming Zhu, Qijiong Liu, Wang Lin, Guohao Cai, Zhaocheng Du, Jiacheng Sun, Zhou Zhao, Zhenhua Dong
ICG:基於MLLM提示與個性化偏好對齊的封面圖像生成改進方法
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

封面圖像在數字平台中對用户參與度具有重要影響,但個性化封面生成的研究尚不充分。近期,來自多個機構的研究人員提出了一種名為ICG(Improving Cover Image Generation)的創新框架,旨在通過融合多模態大語言模型(MLLM)提示與個性化偏好對齊,生成高質量且上下文匹配的封面圖像。該論文已被EMNLP 2025會議接收,並於2026年4月8日提交至arXiv。

ICG框架的核心在於其創新的元標記機制。該機制從商品標題和參考圖像中提取語義特徵,隨後利用用户嵌入對這些元標記進行精細化處理,最終將個性化上下文注入到擴散模型中。這一過程使得生成的封面圖像能夠更好地匹配用户偏好和內容語義,同時保持與原始商品的高度相關性。

針對標籤監督數據匱乏的挑戰,研究團隊設計了一種多獎勵學習策略。該策略融合了公共美學獎勵、相關性獎勵以及基於用户行為訓練的個性化偏好模型。通過多獎勵協同優化,ICG能夠在無真實標籤的情況下實現有效的模型訓練,從而顯著降低了數據標註成本。

與依賴於手工設計提示和分離模塊的傳統方法不同,ICG採用了一種適配器架構,將MLLM與擴散模型無縫連接,實現了端到端訓練。這種設計不僅簡化了流程,還增強了模型的兼容性:ICG可作為即插即用的適配器,適用於常見的擴散模型檢查點,如Stable Diffusion等。

實驗結果顯示,ICG在圖像質量、語義保真度和個性化匹配度上均取得了顯著進步。在多個下游任務中,該框架不僅提升了用户的視覺吸引力,還提高了離線推薦的準確性。研究團隊表示,ICG在電商、社交媒體等內容平台具有廣泛的應用前景,有望為用户提供更加個性化的視覺體驗。

展開要點與分析

文章情報

工程師進階

要點

  • ICG集成MLLM提示與個性化偏好對齊,實現端到端封面圖像生成。
  • 通過元標記提取語義特徵並與用户嵌入結合,注入擴散模型。
  • 多獎勵學習策略利用公共獎勵和個性化偏好模型,無需標註數據。
  • 實驗證明ICG提升圖像質量、語義保真度及個性化效果。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。