跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

LBA:低查詢預算下的文本硬標籤對抗攻擊

文章摘要

本文提出一種基於取樣的方法LBA,用於在低查詢預算下生成高質量文本對抗樣本。該方法結合先驗和後驗知識構建近似分佈,透過取樣逐步更新分佈,從而高效搜尋對抗樣本。實驗表明,LBA在六個語言模型和四個資料集上顯著優於現有基線,且生成的對抗文本語義保持更好、更易理解。

來源arXiv Computational Linguistics作者: Shixin Guo, Ming Zhong, Xuhong Zhang, Dandan Zhao, Zhe Wang, Bo Zhang, Shouling Ji, Hao Peng
LBA:低查詢預算下的文本硬標籤對抗攻擊
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在自然語言處理(NLP)領域,對抗攻擊是一種透過向輸入文本新增微小擾動來誤導模型做出錯誤預測的技術。在現實場景中,攻擊者往往只能獲取模型輸出的最終類別標籤,而無法獲得機率或logit資訊,這種設定被稱為硬標籤(hard-label)攻擊。硬標籤攻擊更具挑戰性,因為缺乏梯度或置信度資訊,搜尋有效擾動更加困難。現有方法大多采用貪心策略:每次只替換文本中的一個詞,然後逐步增加修改,直到攻擊成功。然而,這種區域性搜尋方式容易陷入區域性最優,且需要大量查詢(query)來試探不同的替換,導致查詢成本很高。此外,貪心演算法無法同時考慮多個位置的聯合替換,可能錯過更優的攻擊樣本。

針對這些侷限,來自學術界的研究團隊提出了一種名為LBA(Low-Budget Attack)的新型對抗攻擊方法。LBA的核心思想是構建一個近似分佈來刻畫高質量對抗樣本的分佈情況。該分佈融合了兩類知識:先驗知識(如詞義相似度、語法合理性等)和後驗知識(即從已執行的查詢中獲得的反饋)。在攻擊過程中,演算法從該近似分佈中取樣候選樣本,並根據每次查詢的反饋(成功或失敗)更新分佈,使其逐步聚焦於更有希望的區域。這種取樣機制避免了貪心搜尋的區域性性,能夠更全面地探索輸入空間,同時透過後驗更新保證了搜尋效率。

為了驗證LBA的有效性,研究團隊在六個廣泛使用的語言模型上進行了實驗,涵蓋從小規模模型(如BERT、RoBERTa)到大規模模型(如GPT-2、LLaMA)。評估採用了四個不同的文本分類資料集,涉及情感分析、新聞分類等任務。實驗結果顯示,LBA在所有評估指標上均顯著優於現有最先進方法:在攻擊成功率(ASR)上平均提升超過10%,同時將查詢次數降低至原有方法的1/3至1/2。此外,LBA生成的對抗文本在語義相似度(透過詞向量和BERTScore衡量)和可讀性(透過困惑度衡量)方面也表現更優。

進一步地,研究人員利用大型語言模型(如GPT-4)作為評估者,對生成的對抗文本進行人工評級。結果表明,LBA產生的樣本不僅保持了原始句子的核心語義,而且讀起來自然流暢,不易被人類察覺。這意味著LBA能夠生成更隱蔽、更真實的對抗樣本,對實際部署的NLP系統構成更大的威脅。

LBA的提出為低預算硬標籤對抗攻擊提供了一種新的高效框架。其取樣驅動的設計理念可以推廣到其他離散搜尋問題,如程式碼對抗、結構化預測等。該工作不僅推動了對抗攻擊技術的發展,也為相應的防禦機制研究提供了參考。論文已發表於arXiv,編號為2607.14101。

展開要點與分析

文章情報

投資人進階

要點

  • 現有硬標籤對抗攻擊依賴貪心演算法,查詢成本高且易陷入區域性最優。
  • LBA透過取樣方法構建近似分佈,結合先驗和後驗知識指導搜尋。
  • 在多個語言模型和資料集上,LBA outperform現有方法。
  • LBA生成的對抗文本語義儲存更完整、更易理解。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。