随着自动驾驶技术向端到端框架的快速演进，目前形成了两种主要范式：以视觉-语言-动作（VLA）为代表的单体模型，以及由专用模块组成的模块化架构。尽管设计思路迥异，这两种范式却有一个共同的趋势——越来越依赖Transformer骨干网络进行复杂推理。这种依赖带来了一个潜在的安全漏洞：视觉上不易察觉的扰动，如果专门针对Transformer模块，就能诱导端到端自动驾驶模型执行危险操作。
现有的针对自动驾驶系统的对抗攻击方法大多在白盒或黑盒设置下工作。白盒攻击要求完全了解模型结构，这在实际中往往不可行；黑盒攻击虽然不需要模型内部信息，但通常面临查询延迟高或攻击迁移性有限的问题。为了克服这些限制，来自清华大学等机构的研究人员Xinyu Zeng、Xiangkun He、Lei Tao、Chen Lv和Hong Cheng在最新论文中提出了对抗流匹配（AFM），一种新颖的灰盒攻击框架。AFM的核心思想是利用Transformer结构的固有脆弱性，通过神经平均速度场实现对抗样本的高效一步生成，而无需多次迭代或模型白盒访问。
具体来说，AFM协同扰动生成潜空间和神经平均速度场，从而产生有效且视觉上不可察觉的对抗扰动。与需要多步迭代的传统方法相比，AFM仅需一次前向传播即可生成对抗样本，大幅提高了攻击效率。这种一步生成机制依赖于一个学习到的神经平均速度场，该场将干净样本逐步推向对抗方向，同时保持视觉质量。
研究人员在多个主流端到端自动驾驶模型上进行了广泛实验，包括VLA模型（如LLaVA-AD）和模块化模型（如UniAD）。结果表明，AFM在各种场景下都能显著降低模型的性能，同时保持最先进的视觉不可察觉性。与基线方法相比，AFM在攻击成功率与扰动不可察觉性之间取得了更优的平衡。此外，AFM生成的对抗样本展现出强大的跨模型迁移性，即使攻击时仅知道目标模型包含Transformer模块，也能在黑盒设置下实现接近白盒的攻击效果。
这项研究揭示了端到端自动驾驶系统在广泛采用Transformer架构时面临的新安全威胁。AFM框架的灰盒特性使其在实际攻击场景中更具可行性，同时也对自动驾驶系统的安全性提出了严峻挑战。研究人员指出，未来的防御策略需要针对Transformer的结构脆弱性进行专门设计，例如通过对抗训练或模型集成来增强鲁棒性。该工作已在arXiv上以预印本形式发布，并将在即将召开的国际会议上展示。