跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

CROP:透過構圖推理和偏好最佳化實現專家級影像裁剪

文章摘要

提出一種新正規化,將美學影像裁剪重構為多模態推理任務,透過“分析-提案-決策”過程啟用視覺語言模型在美學方面的分析和理解能力,並結合專家偏好對齊模組,使裁剪結果與人類專家一致。實驗證明該方法優於現有技術。

來源arXiv Computer Vision作者: Zhitong Dong, Chao Li, Jie Yu, Hao Chen
CROP:透過構圖推理和偏好最佳化實現專家級影像裁剪
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近日,一篇題為《CROP: Expert-Aligned Image Cropping via Compositional Reasoning and Optimizing Preference》的論文在arXiv上發表,提出了一種創新的影像裁剪方法,旨在透過模仿專業攝影師的分析過程來提升影像美學質量。該研究由Zhitong Dong等人完成,於2026年5月9日提交。

傳統的影像裁剪方法主要依賴顯著性預測或檢索增強,但這些方法往往忽視了構圖和美學的深層理解。顯著性方法在複雜場景中難以做出構圖權衡,而檢索方法則機械地參考相似案例,缺乏對獨特場景的適應能力。因此,這些方法的自動裁剪結果與人類專家之間存在顯著差距。

針對這一問題,研究團隊提出了一種新的正規化,將美學影像裁剪重構為多模態推理任務。他們設計了一種名為CROP(Compositional Reasoning and Optimizing Preference)的方法,該方法引導視覺語言模型(VLM)像專業攝影師一樣思考。CROP將複雜主觀的美學問題分解為“分析-提案-決策”過程:首先分析場景中的元素和構圖原則,然後提出多種裁剪方案,最後根據美學標準做出最優決策。此外,研究團隊還引入了一個專家偏好對齊模組,透過訓練使模型的決策與人類專家的審美保持一致。

實驗在多個公開資料集上進行,結果表明CROP方法在美學質量上顯著優於現有方法,包括基於顯著性和檢索的方法。消融實驗驗證了各元件(尤其是推理過程和偏好對齊)的有效性。該研究為自動影像裁剪領域提供了新的思路,有望在影像編輯、攝影輔助、社交平臺縮圖生成等場景中得到廣泛應用。

展開要點與分析

文章情報

工程師進階

要點

  • 現有方法依賴顯著性預測或檢索增強,無法深入理解構圖和美學
  • CROP將美學裁剪分解為分析、提案、決策三步推理過程
  • 專家偏好對齊模組確保模型決策符合人類審美
  • 在多個資料集上驗證了方法的有效性和元件貢獻

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。