物件中心學習(Object-centric learning)旨在將場景表示為一系列物件的組合,每個物件具有可重用的屬性。這種表示對於組合泛化至關重要,但現有評估方法(如分割精度、單影像因子預測或下游任務準確率)並未直接測試物件表示在受控語義編輯下的行為是否正確。為了填補這一空白,來自加州大學伯克利分校的研究人員提出了EditCLEVR基準測試,相關論文於2026年7月19日提交至arXiv。
EditCLEVR基於CLEVR風格的渲染影像,構建了成對的before/after場景。每個示例包含兩幅渲染圖,它們具有相同的物件索引和場景佈局,但其中一幅對某個已知物件進行恰好一個已知屬性的編輯(例如改變顏色或形狀),另一幅則是不做任何編輯的重新渲染,用於測量模型自身的漂移。這種方式可以精確地測試模型在語義干預下的表示變化是否忠實於預期編輯。
該基準引入了兩種新的評估指標:場景圖干預準確率(SGIA)和Delta-SGIA。SGIA要求模型對編輯後場景的完整預測正確,並且從before到after的唯一語義變化必須是預期的物件因子編輯。Delta-SGIA則作為輔助診斷,僅檢查單一變化模式,而不要求完整後場景圖正確。這些指標覆蓋分佈內和組合分佈外(OOD)場景,允許分別評估編碼空間中的表示移動和解碼物件屬性的正確性。
基線實驗使用了多種模型,包括基於真實掩碼的骨幹網路、學習槽模型、SAM 2結合凍結ViT模型以及一種掩碼特徵混合模型。結果表明,在CoGenT-OOD-core場景下,即使使用真實例項掩碼,效能下降依然存在;掩碼來源只能部分解釋原生效能,且僅憑區域性性或穩定性指標可能會誇大語義忠實性。這些發現表明,現有評估方法可能高估了物件中心模型的組合能力,EditCLEVR提供了更嚴格的測試。
EditCLEVR的程式碼已在GitHub上開源(https://github.com/torux-bughunter/EditCLEVR),為物件中心學習領域提供了一個標準化、診斷性的評估工具。未來工作可以在此基礎上改進模型的組合忠實性。