LBA：低查询预算下的文本硬标签对抗攻击
本文提出一种基于采样的方法LBA，用于在低查询预算下生成高质量文本对抗样本。该方法结合先验和后验知识构建近似分布，通过采样逐步更新分布，从而高效搜索对抗样本。实验表明，LBA在六个语言模型和四个数据集上显著优于现有基线，且生成的对抗文本语义保持更好、更易理解。
在自然语言处理（NLP）领域，对抗攻击是一种通过向输入文本添加微小扰动来误导模型做出错误预测的技术。在现实场景中，攻击者往往只能获取模型输出的最终类别标签，而无法获得概率或logit信息，这种设定被称为硬标签（hard-label）攻击。硬标签攻击更具挑战性，因为缺乏梯度或置信度信息，搜索有效扰动更加困难。现有方法大多采用贪心策略：每次只替换文本中的一个词，然后逐步增加修改，直到攻击成功。然而，这种局部搜索方式容易陷入局部最优，且需要大量查询（query）来试探不同的替换，导致查询成本很高。此外，贪心算法无法同时考虑多个位置的联合替换，可能错过更优的攻击样本。
针对这些局限，来自学术界的研究团队提出了一种名为LBA（Low-Budget Attack）的新型对抗攻击方法。LBA的核心思想是构建一个近似分布来刻画高质量对抗样本的分布情况。该分布融合了两类知识：先验知识（如词义相似度、语法合理性等）和后验知识（即从已执行的查询中获得的反馈）。在攻击过程中，算法从该近似分布中采样候选样本，并根据每次查询的反馈（成功或失败）更新分布，使其逐步聚焦于更有希望的区域。这种采样机制避免了贪心搜索的局部性，能够更全面地探索输入空间，同时通过后验更新保证了搜索效率。
为了验证LBA的有效性，研究团队在六个广泛使用的语言模型上进行了实验，涵盖从小规模模型（如BERT、RoBERTa）到大规模模型（如GPT-2、LLaMA）。评估采用了四个不同的文本分类数据集，涉及情感分析、新闻分类等任务。实验结果显示，LBA在所有评估指标上均显著优于现有最先进方法：在攻击成功率（ASR）上平均提升超过10%，同时将查询次数降低至原有方法的1/3至1/2。此外，LBA生成的对抗文本在语义相似度（通过词向量和BERTScore衡量）和可读性（通过困惑度衡量）方面也表现更优。
进一步地，研究人员利用大型语言模型（如GPT-4）作为评估者，对生成的对抗文本进行人工评级。结果表明，LBA产生的样本不仅保持了原始句子的核心语义，而且读起来自然流畅，不易被人类察觉。这意味着LBA能够生成更隐蔽、更真实的对抗样本，对实际部署的NLP系统构成更大的威胁。
LBA的提出为低预算硬标签对抗攻击提供了一种新的高效框架。其采样驱动的设计理念可以推广到其他离散搜索问题，如代码对抗、结构化预测等。该工作不仅推动了对抗攻击技术的发展，也为相应的防御机制研究提供了参考。论文已发表于arXiv，编号为2607.14101。