對抗性誘餌：將基於注意力的防禦誤導至Vision Transformer中的錯誤目標
研究人員提出了一種稱為“對抗性誘餌”的新型攻擊方法，透過獨立最佳化的影像補丁來重新定向注意力，從而規避Vision Transformers中基於注意力的防禦。該方法將分類錯誤和防禦規避解耦，攻擊無關，可輕鬆整合到現有對抗性補丁攻擊中。實驗表明，誘餌能將高注意力分數從真實對抗區域轉移開，同時保持攻擊有效性，揭示了依賴注意力大小作為對抗相關性指標的固有侷限性。
Vision Transformers（ViT）在區域性對抗性攻擊（如對抗性補丁）面前仍然脆弱。最近的測試時防禦透過抑制具有異常高注意力分數的影像令牌來緩解這些攻擊。這些防禦利用了注意力與對抗有效性之間的強耦合：對抗性令牌通常需要吸引大量注意力才能影響預測。
為了規避這種防禦，研究人員提出了一種新穎的方法——對抗性誘餌。這些是獨立最佳化的影像補丁，旨在將注意力和相關防禦重新定向到選定的目標令牌。與聯合最佳化錯誤分類和防禦規避不同，該方法將兩個目標解耦：原始對抗區域誘導錯誤預測，而單獨的誘餌操縱防禦使用的注意力排名。透過逐層目標函式，增加目標令牌的注意力，並使其超過競爭的非目標令牌。
由於誘餌是獨立於底層攻擊最佳化的，因此該方法具有攻擊無關性，可以輕鬆與任何現有的對抗性補丁攻擊整合。在ImageNet上，針對多種ViT架構和攻擊的實驗表明，誘餌能夠將高注意力分數從真正的對抗區域轉移開，同時保留大部分攻擊有效性。這些結果揭示了使用注意力大小作為對抗相關性指標的根本侷限性，為未來防禦設計提供了重要見解。
該研究的程式碼和更多實驗細節可在專案網頁上獲取。研究人員指出，未來的工作可以探索如何設計和訓練防禦機制來應對這種新型的攻擊方式。