近日,一篇題為《CROP: Expert-Aligned Image Cropping via Compositional Reasoning and Optimizing Preference》的論文在arXiv上發表,提出了一種創新的影像裁剪方法,旨在透過模仿專業攝影師的分析過程來提升影像美學質量。該研究由Zhitong Dong等人完成,於2026年5月9日提交。
傳統的影像裁剪方法主要依賴顯著性預測或檢索增強,但這些方法往往忽視了構圖和美學的深層理解。顯著性方法在複雜場景中難以做出構圖權衡,而檢索方法則機械地參考相似案例,缺乏對獨特場景的適應能力。因此,這些方法的自動裁剪結果與人類專家之間存在顯著差距。
針對這一問題,研究團隊提出了一種新的正規化,將美學影像裁剪重構為多模態推理任務。他們設計了一種名為CROP(Compositional Reasoning and Optimizing Preference)的方法,該方法引導視覺語言模型(VLM)像專業攝影師一樣思考。CROP將複雜主觀的美學問題分解為“分析-提案-決策”過程:首先分析場景中的元素和構圖原則,然後提出多種裁剪方案,最後根據美學標準做出最優決策。此外,研究團隊還引入了一個專家偏好對齊模組,透過訓練使模型的決策與人類專家的審美保持一致。
實驗在多個公開資料集上進行,結果表明CROP方法在美學質量上顯著優於現有方法,包括基於顯著性和檢索的方法。消融實驗驗證了各元件(尤其是推理過程和偏好對齊)的有效性。該研究為自動影像裁剪領域提供了新的思路,有望在影像編輯、攝影輔助、社交平臺縮圖生成等場景中得到廣泛應用。