視覺Transformer對抗性微調的機制分析
麻省理工學院的研究人員分析了對抗性微調對視覺Transformer（ViT）在影像擾動下魯棒性的影響。他們發現，針對特定型別的影像退化（如低頻和高頻干擾）進行微調，確實能提升模型在該類退化上的表現和置信度，但無法泛化到未見過的退化型別。儘管模型各層的視覺注意力和知識演化發生了變化，但對抗性訓練並未根本改變ViT學習到的稀疏表示。
來源arXiv Computer Vision作者: Hannah Gao (Massachusetts Institute of Technology), Isha Agarwal (Massachusetts Institute of Technology), Dylan Hadfield-Menell (Massachusetts Institute of Technology), Rachel Ma (Massachusetts Institute of Technology)
視覺Transformer（ViT）在當今眾多多模態模型中佔據核心地位，例如視覺語言模型（VLM）和視覺-語言-行動（VLA）模型，然而，這些模型在面對輸入影像中的輕微擾動（如模糊、銳化）時的魯棒性尚未得到充分研究。來自麻省理工學院（MIT）的研究人員Hannah Gao等人近日釋出了一項研究，透過機制分析的方法，系統探索了對抗性微調對ViT效能的影響。該研究針對影像分類模型在高風險現實場景中的應用需求，採用對抗性訓練策略，分別使用低頻率和高頻率的影像損壞（corruption）對ViT進行微調。在訓練完成後，研究人員透過考察模型的注意力機制、內部表示以及知識演化，試圖解釋模型在擾動影像和正常影像上的效能變化。實驗結果表明，在常見的影像損壞上進行微調確實能夠顯著提升ViT在這些特定損壞上的分類準確率和置信度，但這種提升僅限於訓練過程中見過的損壞型別，而無法泛化到其他未見過的損壞類別。進一步的分析顯示，儘管在不同層之間觀察到視覺注意力和知識演化的變化，但對抗性訓練並未從根本上改變ViT所學習的稀疏表示。這一發現意味著，透過對抗性微調獲得的魯棒性具有高度的特異性和侷限性。該研究不僅揭示了當前對抗性訓練方法的不足，也為未來開發更通用的魯棒性增強技術提供了重要指導。同時，該工作為深入理解Transformer架構在視覺任務中的魯棒性機制開闢了新的視角。