隨着自動駕駛技術向端到端框架的快速演進，目前形成了兩種主要範式：以視覺-語言-動作（VLA）為代表的單體模型，以及由專用模塊組成的模塊化架構。儘管設計思路迥異，這兩種範式卻有一個共同的趨勢——越來越依賴Transformer骨幹網絡進行復雜推理。這種依賴帶來了一個潛在的安全漏洞：視覺上不易察覺的擾動，如果專門針對Transformer模塊，就能誘導端到端自動駕駛模型執行危險操作。
現有的針對自動駕駛系統的對抗攻擊方法大多在白盒或黑盒設置下工作。白盒攻擊要求完全瞭解模型結構，這在實際中往往不可行；黑盒攻擊雖然不需要模型內部信息，但通常面臨查詢延遲高或攻擊遷移性有限的問題。為了克服這些限制，來自清華大學等機構的研究人員Xinyu Zeng、Xiangkun He、Lei Tao、Chen Lv和Hong Cheng在最新論文中提出了對抗流匹配（AFM），一種新穎的灰盒攻擊框架。AFM的核心思想是利用Transformer結構的固有脆弱性，通過神經平均速度場實現對抗樣本的高效一步生成，而無需多次迭代或模型白盒訪問。
具體來説，AFM協同擾動生成潛空間和神經平均速度場，從而產生有效且視覺上不可察覺的對抗擾動。與需要多步迭代的傳統方法相比，AFM僅需一次前向傳播即可生成對抗樣本，大幅提高了攻擊效率。這種一步生成機制依賴於一個學習到的神經平均速度場，該場將乾淨樣本逐步推向對抗方向，同時保持視覺質量。
研究人員在多個主流端到端自動駕駛模型上進行了廣泛實驗，包括VLA模型（如LLaVA-AD）和模塊化模型（如UniAD）。結果表明，AFM在各種場景下都能顯著降低模型的性能，同時保持最先進的視覺不可察覺性。與基線方法相比，AFM在攻擊成功率與擾動不可察覺性之間取得了更優的平衡。此外，AFM生成的對抗樣本展現出強大的跨模型遷移性，即使攻擊時僅知道目標模型包含Transformer模塊，也能在黑盒設置下實現接近白盒的攻擊效果。
這項研究揭示了端到端自動駕駛系統在廣泛採用Transformer架構時面臨的新安全威脅。AFM框架的灰盒特性使其在實際攻擊場景中更具可行性，同時也對自動駕駛系統的安全性提出了嚴峻挑戰。研究人員指出，未來的防禦策略需要針對Transformer的結構脆弱性進行專門設計，例如通過對抗訓練或模型集成來增強魯棒性。該工作已在arXiv上以預印本形式發佈，並將在即將召開的國際會議上展示。