視覚Transformer（ViT）は、視覚言語モデル（VLM）や視覚-言語-行動（VLA）モデルなど、現代の多くのマルチモーダルモデルにおいて中核的な役割を果たしている。しかし、高リスクな実世界環境での画像分類モデルの広範な利用は、入力画像のぼかしやシャープ化といった微小な摂動に対する堅牢性を不可欠とする。ViTの堅牢性に関する研究はこれまで十分に注目されてこなかった。そこで、マサチューセッツ工科大学のHannah Gaoらは、2026年5月28日にarXivに投稿した論文で、モデルの堅牢性を高める一般的な手法である敵対的ファインチューニングが、摂動画像と通常画像に対するViTの性能に与える影響をメカニズムの観点から分析した。
研究チームは、低周波および高周波の画像破損に対してViTを敵対的に訓練し、モデルの注意機構、内部表現、知識進化を調べることで、下流の性能変化を説明しようと試みた。このメカニズム分析は、最終的な精度だけでなく、微調整がモデル内部の計算プロセスをどのように変えるかを明らかにすることを目的としている。
結果として、一般的な破損を含む入力で微調整を行うと、新たに発生した同種の破損データに対するモデルの性能と確信度は確かに向上する。しかし、これらの改善は訓練で見られなかった他の破損カテゴリには転移しないことが分かった。つまり、モデルは特定のタイプの摂動に対してはより堅牢になるが、他のタイプの摂動に対しては依然として脆弱である。
さらに、視覚的注意パターンと層をまたぐ知識進化に変化が見られたものの、敵対的訓練はViTが学習する疎表現に根本的な変化をもたらさなかった。この発見は、敵対的ファインチューニングが主に特定の破損に対する注意の配分と中間特徴を調整するものであり、表現の本質的な構造には踏み込んでいない可能性を示唆している。
この研究は、ViTの堅牢性のメカニズムを理解するための重要な視点を提供し、マルチモーダルモデルの安全な展開に参考となる。敵対的ファインチューニングだけでは広範な堅牢性を実現するには不十分である可能性を示しており、今後のより根本的な改善手法の探求が必要である。