近年來,多模態模型在影像理解和生成方面取得了顯著進展,但在處理構圖(composition)這一高層次的視覺意圖時仍顯不足。構圖決定了主體的位置和場景的組織方式,然而現有模型往往無法可靠地進行細粒度識別,也難以將這種意圖轉化為可控的生成。針對這一挑戰,來自學術界的研究團隊提出了 COMPASS 框架,旨在將構圖意圖控制融入統一的多模態系統。
COMPASS 的核心創新在於引入了一個共享專家令牌 τ_c,作為構圖意圖的中心錨點。在感知端,COMPASS 以最小侵入方式向混合專家(MoE)骨幹網路注入構圖專業知識,並將推理出的意圖蒸餾到 τ_c 中。在生成端,COMPASS 複用了這個 τ_c 作為全域性條件訊號,引導去噪軌跡,從而將被動的構圖分析轉化為顯式的佈局控制。這種設計使得模型能夠在單一框架內同時進行構圖理解和生成。
為了支援系統化的構圖學習和評估,團隊還構建了 Comp-11 資料集。該資料集包含 11 個類別的分類體系,並提供了推理增強的標註,能夠在較大規模上支援指令遵循式的構圖學習。實驗結果表明,COMPASS 在類別級的構圖理解上取得了顯著提升,並且在生成結果的構圖一致性和提示忠實度方面均優於強基線方法。例如,在多個基準測試中,COMPASS 在分類精度和生成質量上都達到了新的高度。
COMPASS 的提出為多模態模型的構圖能力提供了統一的解決方案,有望在影像編輯、佈局生成等應用場景中發揮重要作用。研究團隊已將論文和相關資料公開,供學術界進一步探索。未來工作可能包括將 COMPASS 擴充套件到影片構圖等領域。