在自然語言處理(NLP)領域,對抗攻擊是一種透過向輸入文本新增微小擾動來誤導模型做出錯誤預測的技術。在現實場景中,攻擊者往往只能獲取模型輸出的最終類別標籤,而無法獲得機率或logit資訊,這種設定被稱為硬標籤(hard-label)攻擊。硬標籤攻擊更具挑戰性,因為缺乏梯度或置信度資訊,搜尋有效擾動更加困難。現有方法大多采用貪心策略:每次只替換文本中的一個詞,然後逐步增加修改,直到攻擊成功。然而,這種區域性搜尋方式容易陷入區域性最優,且需要大量查詢(query)來試探不同的替換,導致查詢成本很高。此外,貪心演算法無法同時考慮多個位置的聯合替換,可能錯過更優的攻擊樣本。
針對這些侷限,來自學術界的研究團隊提出了一種名為LBA(Low-Budget Attack)的新型對抗攻擊方法。LBA的核心思想是構建一個近似分佈來刻畫高質量對抗樣本的分佈情況。該分佈融合了兩類知識:先驗知識(如詞義相似度、語法合理性等)和後驗知識(即從已執行的查詢中獲得的反饋)。在攻擊過程中,演算法從該近似分佈中取樣候選樣本,並根據每次查詢的反饋(成功或失敗)更新分佈,使其逐步聚焦於更有希望的區域。這種取樣機制避免了貪心搜尋的區域性性,能夠更全面地探索輸入空間,同時透過後驗更新保證了搜尋效率。
為了驗證LBA的有效性,研究團隊在六個廣泛使用的語言模型上進行了實驗,涵蓋從小規模模型(如BERT、RoBERTa)到大規模模型(如GPT-2、LLaMA)。評估採用了四個不同的文本分類資料集,涉及情感分析、新聞分類等任務。實驗結果顯示,LBA在所有評估指標上均顯著優於現有最先進方法:在攻擊成功率(ASR)上平均提升超過10%,同時將查詢次數降低至原有方法的1/3至1/2。此外,LBA生成的對抗文本在語義相似度(透過詞向量和BERTScore衡量)和可讀性(透過困惑度衡量)方面也表現更優。
進一步地,研究人員利用大型語言模型(如GPT-4)作為評估者,對生成的對抗文本進行人工評級。結果表明,LBA產生的樣本不僅保持了原始句子的核心語義,而且讀起來自然流暢,不易被人類察覺。這意味著LBA能夠生成更隱蔽、更真實的對抗樣本,對實際部署的NLP系統構成更大的威脅。
LBA的提出為低預算硬標籤對抗攻擊提供了一種新的高效框架。其取樣驅動的設計理念可以推廣到其他離散搜尋問題,如程式碼對抗、結構化預測等。該工作不僅推動了對抗攻擊技術的發展,也為相應的防禦機制研究提供了參考。論文已發表於arXiv,編號為2607.14101。