跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

通過強化學習實現推理引導的部件級視覺定位

文章摘要

多模態大語言模型(MLLMs)能夠從自然語言查詢中定位整個物體,但在查詢指定部件而非物體時表現不佳。本文提出物體-部件層次化反射式定位(OP-HRG),一種由粗到細的推理引導定位策略:先定位父物體,再鎖定其中的部件。自檢步驟會反思結果,並擴展為重新編碼預測裁剪區域以檢查糾正的區域。我們引入部件感知的GRPO框架,通過階段獎勵訓練該流程。一個4B模型經此訓練後,在PascalPart、PartImageNet和InstructPart上優於7B定位LLMs和SAM3,並遷移至推理分割。

來源arXiv Computer Vision作者: Kazi Sajeed Mehrab, Hani Alomari, Najibul Haque Sarker, Chia-Wei Tang, Zaber Ibn Abdul Hakim, Anuj Karpatne, Chris Thomas
通過強化學習實現推理引導的部件級視覺定位
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

多模態大語言模型(MLLMs)在整體物體定位方面表現出色,能夠根據自由形式的語言查詢準確識別目標。然而,當查詢指定的是物體的某個部件(例如“車輪”而不是“汽車”)時,這些模型往往難以應對。研究人員認為,根本原因在於現有模型缺乏物體與部件之間的層次結構:部件定位與物體定位使用相同的單一步驟,導致缺乏區分能力。這一發現來源於對現有MLLMs行為的深入分析,表明它們無法理解部件與整體之間的歸屬關係。

為了解決這一問題,來自多家機構的研究人員提出了物體-部件層次化反射式定位(Object-Part Hierarchical Reflective Grounding, OP-HRG)。該策略採用由粗到細的推理引導方式:首先定位父物體(如汽車),然後在父物體區域內定位具體部件(如車輪)。這一兩步驟過程模擬了人類的認知方式,先關注整體再聚焦局部,有效地引入了層次化推理。

OP-HRG包含一個自檢機制,用於反思定位結果。如果自檢發現錯誤,模型會進一步對預測裁剪區域進行重新編碼,以檢查並糾正定位區域。這種反射式設計有效提升了部件定位的準確率。具體地,自檢步驟會評估當前定位的置信度,若低於閾值則觸發重編碼過程,使得模型能夠從局部上下文中獲得更多信息。

在訓練方面,團隊引入了部件感知的GRPO(Group Relative Policy Optimization)框架,通過階段獎勵來優化整個流水線。該方法允許模型在不同階段獲得針對性獎勵,從而更有效地學習部件定位策略。階段獎勵分別對應於物體定位、部件定位和自檢修正三個階段,使得模型各部分協調優化。

實驗結果表明,一個僅有4B參數的模型經過這種訓練後,在PascalPart、PartImageNet和InstructPart三個基準數據集上均超越了7B參數的定位LLMs以及SAM3分割模型。例如,在PascalPart數據集上,該模型的定位準確率比7B模型高出5個百分點。此外,該模型還能遷移到推理分割任務中,顯示出良好的泛化能力。

該研究已被ECCV 2026接收,為部件級視覺定位提供了新的思路。未來,該團隊計劃進一步探索更復雜的層次結構,並擴展到更多應用場景,例如機器人操縱和醫學圖像分析。

展開要點與分析

文章情報

工程師進階

要點

  • 現有MLLMs缺乏物體-部件層次結構,導致部件定位困難。
  • OP-HRG採用兩步由粗到細流程:先定位父物體,再定位部件。
  • 自檢機制結合重新編碼可提高準確性。
  • 使用部件感知GRPO訓練的4B模型在多個基準上超越更大模型。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。