多模態大語言模型(MLLMs)在整體物體定位方面表現出色,能夠根據自由形式的語言查詢準確識別目標。然而,當查詢指定的是物體的某個部件(例如“車輪”而不是“汽車”)時,這些模型往往難以應對。研究人員認為,根本原因在於現有模型缺乏物體與部件之間的層次結構:部件定位與物體定位使用相同的單一步驟,導致缺乏區分能力。這一發現來源於對現有MLLMs行為的深入分析,表明它們無法理解部件與整體之間的歸屬關係。
為了解決這一問題,來自多家機構的研究人員提出了物體-部件層次化反射式定位(Object-Part Hierarchical Reflective Grounding, OP-HRG)。該策略採用由粗到細的推理引導方式:首先定位父物體(如汽車),然後在父物體區域內定位具體部件(如車輪)。這一兩步驟過程模擬了人類的認知方式,先關注整體再聚焦局部,有效地引入了層次化推理。
OP-HRG包含一個自檢機制,用於反思定位結果。如果自檢發現錯誤,模型會進一步對預測裁剪區域進行重新編碼,以檢查並糾正定位區域。這種反射式設計有效提升了部件定位的準確率。具體地,自檢步驟會評估當前定位的置信度,若低於閾值則觸發重編碼過程,使得模型能夠從局部上下文中獲得更多信息。
在訓練方面,團隊引入了部件感知的GRPO(Group Relative Policy Optimization)框架,通過階段獎勵來優化整個流水線。該方法允許模型在不同階段獲得針對性獎勵,從而更有效地學習部件定位策略。階段獎勵分別對應於物體定位、部件定位和自檢修正三個階段,使得模型各部分協調優化。
實驗結果表明,一個僅有4B參數的模型經過這種訓練後,在PascalPart、PartImageNet和InstructPart三個基準數據集上均超越了7B參數的定位LLMs以及SAM3分割模型。例如,在PascalPart數據集上,該模型的定位準確率比7B模型高出5個百分點。此外,該模型還能遷移到推理分割任務中,顯示出良好的泛化能力。
該研究已被ECCV 2026接收,為部件級視覺定位提供了新的思路。未來,該團隊計劃進一步探索更復雜的層次結構,並擴展到更多應用場景,例如機器人操縱和醫學圖像分析。