arXiv於2026年7月28日發佈了一項名為TraceCLIP的研究，提出了一種無需訓練即可從預訓練視覺語言模型CLIP中恢復局部語義信息的創新框架。該框架的核心在於巧妙利用CLIP模型中的CLS（分類）標記注意力輸出，通過精確隔離每個圖像補丁對CLS標記的特定貢獻，成功提取出原本被全局表示所掩蓋的局部語義證據。
傳統的CLIP模型通過大規模對比學習將圖像和文本映射到共享的嵌入空間，但其圖像級目標函數主要對齊文本與全局表示，導致局部視覺-語言對應關係僅受到間接約束。先前的方法要麼需要額外的監督信號、外部模型或任務特定微調，要麼在不進行訓練的情況下僅從現有補丁特徵中恢復密集響應，未能深入探索CLIP內部局部語義的可達性。TraceCLIP填補了這一空白。
該方法首先從CLS注意力輸出中分解出每個補丁的特定貢獻，從而獲得具有強局部語義判別能力的貢獻特徵。這些貢獻特徵隨後被轉換為一個語義測地拓撲門（semantic-geodesic topology gate），用於校準最後一層補丁之間的親和度，進而用於密集特徵重構。實驗表明，這些貢獻特徵在文本條件下的空間對齊方面表現出色，能夠準確捕捉到與語言概念對應的局部視覺區域。
在八個零樣本語義分割基準測試中，TraceCLIP在多種骨幹網絡和背景設置下，平均交併比（mIoU）相較於先前最強的無需訓練方法提升了1.3至4.5個百分點。這一提升無需任何額外的訓練、外部視覺基礎模型或區域級監督，充分展示了其高效性和通用性。研究結果還表明，即使在全局對齊的表示中，空間局部化的語義信息仍然可以通過內部構造被有效訪問，這為未來視覺語言模型的改進提供了新的思路。
TraceCLIP的發表標誌着無需訓練即可從CLIP中挖掘局部語義信息成為可能，有望在對象定位、區域識別和開放詞彙語義分割等密集視覺語言理解任務中發揮重要作用。