封面圖像在數字平台中對用户參與度具有重要影響,但個性化封面生成的研究尚不充分。近期,來自多個機構的研究人員提出了一種名為ICG(Improving Cover Image Generation)的創新框架,旨在通過融合多模態大語言模型(MLLM)提示與個性化偏好對齊,生成高質量且上下文匹配的封面圖像。該論文已被EMNLP 2025會議接收,並於2026年4月8日提交至arXiv。
ICG框架的核心在於其創新的元標記機制。該機制從商品標題和參考圖像中提取語義特徵,隨後利用用户嵌入對這些元標記進行精細化處理,最終將個性化上下文注入到擴散模型中。這一過程使得生成的封面圖像能夠更好地匹配用户偏好和內容語義,同時保持與原始商品的高度相關性。
針對標籤監督數據匱乏的挑戰,研究團隊設計了一種多獎勵學習策略。該策略融合了公共美學獎勵、相關性獎勵以及基於用户行為訓練的個性化偏好模型。通過多獎勵協同優化,ICG能夠在無真實標籤的情況下實現有效的模型訓練,從而顯著降低了數據標註成本。
與依賴於手工設計提示和分離模塊的傳統方法不同,ICG採用了一種適配器架構,將MLLM與擴散模型無縫連接,實現了端到端訓練。這種設計不僅簡化了流程,還增強了模型的兼容性:ICG可作為即插即用的適配器,適用於常見的擴散模型檢查點,如Stable Diffusion等。
實驗結果顯示,ICG在圖像質量、語義保真度和個性化匹配度上均取得了顯著進步。在多個下游任務中,該框架不僅提升了用户的視覺吸引力,還提高了離線推薦的準確性。研究團隊表示,ICG在電商、社交媒體等內容平台具有廣泛的應用前景,有望為用户提供更加個性化的視覺體驗。