这篇论文题为《A Mechanistic Analysis of Adversarial Fine-tuning of Vision Transformers》，由麻省理工学院的 Hannah Gao 牵头、另有三名合作者参与，于 2026 年 5 月 28 日提交至 arXiv，编号为 arXiv:2606.07593，归属计算机视觉与模式识别（cs.CV）方向，同时涉及人工智能（cs.AI）分类。研究聚焦于一个在现实部署中日益紧迫的问题：图像分类模型已被广泛用于高风险的实际场景，因此必须对输入图像中诸如模糊、锐化之类的轻微扰动具备鲁棒性。然而，视觉 Transformer（ViT）虽然是当前众多多模态模型——包括视觉语言模型（VLM）和视觉-语言-动作模型（VLA）——的核心组件，其鲁棒性却长期缺乏应有的关注。
针对这一空白，作者从机制层面（mechanistic lens）分析了对抗微调（adversarial fine-tuning）这一常用鲁棒性提升手段对 ViT 的影响。具体做法是分别在低频和高频图像损坏（corruption）上对 ViT 进行对抗训练，随后通过考察模型的注意力机制、内部表征以及知识演化过程，尝试解释下游性能变化背后的原因。这种机制性分析不同于仅报告准确率的常规评估，它试图回答模型为何在扰动图像上表现更好或更差。
研究得到一个关键且略显审慎的结论：在含有常见损坏的输入上进行微调，确实能提升模型在新出现的同类损坏数据上的性能与置信度，但这种改进并不能迁移到训练中未见过的其他类别损坏上。换言之，鲁棒性提升呈现出较强的针对性，而非普遍适用。此外，尽管研究观察到视觉注意力分布和跨层知识演化发生了变化，对抗训练却并未导致 ViT 所学习的稀疏表征发生根本性改变。这一发现提示，表面上的性能改善可能在很大程度上依赖既有的表征结构，而非重塑模型的内部知识组织方式。
在更广泛的背景下，这项工作为多模态系统中 ViT 的可靠性评估提供了机制性证据，也提醒实践者：依赖单一损坏类型的对抗微调可能带来虚假的鲁棒性安全感，部署到高风险场景时仍需针对可能遇到的实际扰动类型进行更全面的验证。