跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

COMPASS:在多模態統一模型中實現構圖意圖引導

文章摘要

COMPASS 是首個將構圖意圖控制融入單一系統的統一多模態框架,透過共享專家令牌 τ_c 實現構圖感知與生成。它基於混合專家模型注入構圖知識,並將推理出的意圖蒸餾到 τ_c 中,在生成端將其作為全域性條件訊號引導去噪過程。配套的 Comp-11 資料集包含 11 類分類和推理增強標註,支援大規模訓練和評估。實驗表明,COMPASS 在類別級構圖理解和生成一致性上顯著優於現有方法。

來源arXiv AI作者: Ziqi Zhou, Weize Quan, Mining Tan, Zhihan Chen, Dandan Zheng, Jingdong Chen, Jun Zhou, Weiming Dong, Dong-Ming Yan
COMPASS:在多模態統一模型中實現構圖意圖引導
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近年來,多模態模型在影像理解和生成方面取得了顯著進展,但在處理構圖(composition)這一高層次的視覺意圖時仍顯不足。構圖決定了主體的位置和場景的組織方式,然而現有模型往往無法可靠地進行細粒度識別,也難以將這種意圖轉化為可控的生成。針對這一挑戰,來自學術界的研究團隊提出了 COMPASS 框架,旨在將構圖意圖控制融入統一的多模態系統。

COMPASS 的核心創新在於引入了一個共享專家令牌 τ_c,作為構圖意圖的中心錨點。在感知端,COMPASS 以最小侵入方式向混合專家(MoE)骨幹網路注入構圖專業知識,並將推理出的意圖蒸餾到 τ_c 中。在生成端,COMPASS 複用了這個 τ_c 作為全域性條件訊號,引導去噪軌跡,從而將被動的構圖分析轉化為顯式的佈局控制。這種設計使得模型能夠在單一框架內同時進行構圖理解和生成。

為了支援系統化的構圖學習和評估,團隊還構建了 Comp-11 資料集。該資料集包含 11 個類別的分類體系,並提供了推理增強的標註,能夠在較大規模上支援指令遵循式的構圖學習。實驗結果表明,COMPASS 在類別級的構圖理解上取得了顯著提升,並且在生成結果的構圖一致性和提示忠實度方面均優於強基線方法。例如,在多個基準測試中,COMPASS 在分類精度和生成質量上都達到了新的高度。

COMPASS 的提出為多模態模型的構圖能力提供了統一的解決方案,有望在影像編輯、佈局生成等應用場景中發揮重要作用。研究團隊已將論文和相關資料公開,供學術界進一步探索。未來工作可能包括將 COMPASS 擴充套件到影片構圖等領域。

展開要點與分析

文章情報

投資人進階

要點

  • COMPASS 透過共享專家令牌 τ_c 統一了構圖感知與生成。
  • 感知端利用混合專家模型注入構圖知識,生成端複用 τ_c 進行佈局控制。
  • 構建了包含 11 類分類和推理增強標註的 Comp-11 資料集。
  • 在構圖理解和生成一致性上超越強基線模型。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。